CN113490904A - 智能显示面板装置及相关方法 - Google Patents

智能显示面板装置及相关方法 Download PDF

Info

Publication number
CN113490904A
CN113490904A CN201980093246.9A CN201980093246A CN113490904A CN 113490904 A CN113490904 A CN 113490904A CN 201980093246 A CN201980093246 A CN 201980093246A CN 113490904 A CN113490904 A CN 113490904A
Authority
CN
China
Prior art keywords
user
backlight
brightness
gaze
ambient light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093246.9A
Other languages
English (en)
Inventor
凯西·布伊
保罗·迪芬堡
克里斯托弗·弗莱明
迈克尔·罗森威格
苏提哈·苏怡
维沙尔·辛哈
尼古拉斯·克莱因
许广新
斯蒂芬·乔丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113490904A publication Critical patent/CN113490904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/22Illumination; Arrangements for improving the visibility of characters on dials
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)

Abstract

本文公开了示例智能面板显示装置和相关方法。一种用于控制电子设备的显示器的示例装置包括用户存在检测器来基于由设备的图像传感器生成的图像数据确定用户相对于设备的存在。该示例装置包括注视检测器来基于图像数据确定用户的注视相对于图像传感器的方向。该示例装置包括背光管理器来基于用户的存在和用户的注视的方向来选择性地调整显示亮度。

Description

智能显示面板装置及相关方法
技术领域
本公开总体上涉及电子显示设备,更具体而言涉及智能显示面板装置和相关方法。
背景技术
电子用户设备(例如,个人计算机、智能电话、平板设备)的显示面板使得用户能够在与该设备交互的同时经由显示屏幕观看图形用户界面内容。显示面板包括控制经由显示屏幕进行内容显示的面板电子器件和输出光以照亮显示屏幕从而便于用户观看的背光。当用户设备处于工作状态时,显示面板的背光和面板电子器件会消耗功率。在一些示例中,可以经由用户输入来调整背光的亮度。
附图说明
图1图示了根据本公开的教导构造的示例系统,并且该系统包括示例训练管理器和用于控制用户设备的显示面板的功率的示例显示面板控制器。
图2是图1的训练管理器和显示面板控制器的示例实现方式的框图。
图3和图4是供图1的示例显示面板控制器执行的示例显示功率管理规则的图示。
图5是描绘基于由图1的示例显示面板控制器对图3和/或图4的功率管理规则的实现而发生的显示面板的背光和面板电子器件的各个功率状态的变化的图表。
图6是示出图1的示例显示面板控制器随着时间的流逝对显示面板的背光的控制的示例时间线。
图7是表示可被执行以实现图2的示例训练管理器的示例机器可读指令的流程图。
图8A和图8B是表示可被执行以实现图2的示例显示面板控制器的示例机器可读指令的流程图。
图9图示了根据本公开的教导构造的另一示例系统,并且该系统包括用于控制用户设备的背光的亮度的示例背光亮度管理器。
图10图示了由图9的示例背光亮度管理器对背光的亮度进行的调整的示例时间线。
图11是图9的背光亮度管理器的示例实现方式的框图。
图12是表示可被执行以实现图9、图10和/或图11的示例背光亮度管理器的示例机器可读指令的流程图。
图13是被构造以执行图7的指令以实现图2的示例训练管理器的示例处理平台的框图。
图14是被构造以执行图8A和8B的指令以实现图2的示例显示面板控制器的示例处理平台的框图。
图15是被构造以执行图12的指令以实现图9的示例背光亮度管理器的示例处理平台的框图。
附图不是按比例绘制的。相反,在附图中可以放大层或区域的厚度。一般而言,相同的附图标号将在(一个或多个)附图和伴随的书面描述的各处用于指代相同或相似的部分。
具体实施方式
电子用户设备(例如,个人计算机、智能电话、平板设备)的显示面板使得用户能够在与该设备交互的同时经由显示屏幕观看图形用户界面内容。显示面板包括控制经由显示屏幕进行内容显示的面板电子器件和输出光以照亮显示屏幕从而便于用户观看的背光。当用户设备处于工作状态或加电状态以提供经由显示屏幕进行数据显示时,显示面板的背光和面板电子器件会消耗功率。
在一些实例中,当用户设备处于工作状态,但用户没有在观看显示屏幕时,显示面板会消耗功率来输出数据以供显示并且照亮显示屏幕。例如,用户可能从显示屏幕转开以与人交谈、阅读纸质文档,等等。在一些示例中,用户可能离开用户设备一段时间(例如,在午餐期间、在夜间)而未将设备断电。然而,即使用户在某一段时间内(例如,数分钟、数小时,等等)没有活跃地看着显示屏幕,显示面板的面板电子器件也会继续输出数据以供显示,并且背光继续照亮显示屏幕。在一些示例中,显示面板的功率消耗可以代表用户设备的总功率消耗的相对较大部分(例如,30%-40%),从而可影响例如用户设备的电池的寿命。
为了降低用户设备在设备不被用户活跃使用时的功率消耗,显示面板可以基于对用户当前没有使用该设备的指示而在低功率状态下工作。例如,一些已知的节约电力的示例包括在预定义的时间段(例如,30秒、5分钟、10分钟)之后自动关闭背光,以及在一些情况下自动关闭显示面板的面板电子器件,其中在该时间段中,没有在用户设备处接收到用户输入。在一些实例中,显示面板随着设备在预定义时段的用户无活动之后进入睡眠或休眠模式而被关闭。然而,依靠没有用户输入,例如键盘输入、鼠标点击、触摸屏输入等等来控制显示面板的工作并不能准确地反映用户是否不再使用该设备。由于使得显示面板转移到低功率状态的超时时段的持续时间不能被动态调整,所以考虑到用户与设备的交互不同,超时时段可能太短或太长,而无法有效地节约电力。太长的显示面板超时时段会导致当用户不再使用该设备时错过节约电力的机会。相反,在用户反复地指示显示面板返回到活跃状态时,太短的超时时段可能会增大设备的功率消耗,因为用户只是在短暂的时间间隔内停止使用该设备。
一些用于管理显示面板功率消耗的已知示例依靠用户存在作为对于显示面板是否应当保持开启的指示。例如,一些设备基于电子设备和用户携带的另一个支持
Figure BDA0003233756290000031
的用户设备(例如,智能电话、智能手表)之间的
Figure BDA0003233756290000032
信号的传输和检测来检测用户存在。然而,这样的示例要求用户携带
Figure BDA0003233756290000033
发射设备。而且,这样的示例并不能确定用户是否正活跃地与包括感兴趣的显示面板的设备交互。作为另一示例,一些设备包括检测用户相对于设备的存在的邻近传感器。然而,单是用户的存在并不是用户是否正在观看显示屏幕的准确指标。例如,用户可能坐在他或她的桌边、在用户设备(例如,台式计算机)前方,但当用户与另一个人交谈时,却从显示屏幕转开。一些已知的示例采用眼睛跟踪技术来确定用户是否在活跃地看着显示屏幕。然而,跟踪用户的眼睛运动可能会增大电子设备用于处理由设备的图像传感器捕获的图像数据并且分析与随着时间的流逝用户的眼睛位置有关的数据的能量消耗。
本文公开的示例系统和方法提供了:基于对用户的脸部的检测和对用户的注视相对于用户设备的方向的确定,对用户设备的显示面板进行动态功率控制。对于用户(1)相对于用户设备是否存在(例如,位于用户设备附近)和(2)是否关注设备的显示屏幕,本文公开的示例采用了多层级的确定。本文公开的示例基于对相对于设备的用户存在和关注度的确定,选择性地控制显示面板的面板电子器件和背光的工作。因此,与仅依靠例如用户存在或者依靠用户不活动的预定义超时时段的已知示例相比,本文公开的示例提供了更多的电力节约。
本文公开的示例分析由用户设备的(一个或多个)图像传感器生成的图像数据,以基于面部识别分析来确定用户在(一个或多个)图像传感器的视场(FoV)内是否存在。基于对(一个或多个)图像传感器的FoV中的用户脸部的检测,本文公开的示例控制显示面板的面板电子器件和背光的工作。当在(一个或多个)图像传感器的FoV内没有检测到用户时,本文公开的示例确定用户相对于用户设备不存在,并且相应地指示显示面板关闭以节约电力。
当确定用户存在于用户设备处时,本文公开的示例进一步分析与用户的注视相对于(一个或多个)图像传感器的方向有关的图像数据。本文公开的示例对图像数据执行面部特征识别,以确定用户的脸部相对于(一个或多个)图像传感器的位置。基于面部特征分析,本文公开的示例确定显示屏幕是否在用户的视场内,这可作为对于用户可能在看着或者关注显示屏幕的指示。例如,如果在图像数据中只检测到一只耳朵,则本文公开的示例就确定用户正在部分地从显示屏幕转开目光。相反,如果在图像数据中检测到两只眼睛,则本文公开的示例确定用户正看着显示屏幕。
本文公开的示例基于用户的注视方向选择性地调整显示面板的背光的亮度(例如,流明水平)。例如,如果用户的注视方向偏离显示屏幕,则本文公开的示例就会在用户转开目光时调暗背光以节约电力。在基于随着时间流逝的图像数据分析确定用户正转向显示屏幕的示例中,背光的亮度被增大,以期待用户与设备进行交互。在用户被确定为从显示屏幕转开的示例中,随着显示屏幕离开用户的视场,背光的亮度被降低以节约电力。
在本文公开的一些示例中,至少一些图像数据分析是由一个或多个处理器执行的,这些处理器与(一个或多个)图像传感器通信,并且在低功率模式或超低功率模式(例如,消耗少于10mW)下工作。在这样的示例中,(一个或多个)处理器(例如,(一个或多个)数字信号处理器)基于对图像数据的面部识别分析来生成指示用户是存在(例如,由“1”表示)还是不存在(例如,由“0”表示)的元数据。指示用户存在或不存在的元数据被用于控制显示面板的工作,从而降低与传输、处理和/或分析图像数据相关联的电力成本。
在一些示例中,不执行注视分析,直到确定用户在用户设备的特定邻近范围内为止,以避免在用户处于他或她不太可能能够轻易观看显示屏幕上的内容的距离时花费资源。在一些示例中,如果用户在设备处提供输入(例如,键盘输入、触摸屏输入),则本文公开的示例避免分析与用户存在和注视有关的图像数据,以便在用户在与设备交互并且从而已知其存在并在关注设备时节约电力。
本文还公开了在用户手动改变了亮度设置之后自动调整用户设备的显示屏幕的背光的亮度的系统和方法。一些用户设备基于指示设备所在的环境中的环境光的传感器数据来自动调整背光的亮度。然而,例如,当用户在黑暗的房间里时,一些用户可能会关闭自动亮度设置,并且手动调暗或关闭背光,因为用户可能发现屏幕的光线太亮了。在这种情况下,当用户返回到较亮的环境(例如,有阳光的环境)时,显示屏幕可能太暗,以至于用户无法观看。本文公开的示例确定环境中和/或用户设备所在的环境之间的环境光水平的变化。当检测到从例如暗或低的光水平到亮的光水平的变化时,这里公开的示例自动地从用户定义的手动设置重调整背光的亮度,以使得用户能够观看显示屏幕而不必手动重调整亮度设置。本文公开的示例将环境光水平的变化与预定义阈值进行比较,以确定背光是否应当继续以用户定义的亮度设置来输出光,或者是否应当重激活自动亮度设置以促进用户舒适地观看显示屏幕。
图1图示了基于本公开的教导构造的示例系统100,该系统用于基于用户或对象106(术语“用户”和“对象”在本文中可互换使用,并且两者均指代生物,例如人类)与显示面板102的显示屏幕108的交互来控制用户设备104的显示面板102。用户设备104可以包括个人计算机、膝上型计算机、平板设备、智能电话,等等。在图1的示例中,用户106访问由用户设备104的处理器109执行的一个或多个应用107(例如,字处理应用、web浏览器、视频播放器,等等)。用户106经由显示屏幕108观看与(一个或多个)应用107相关联的数字内容(例如,电子文档、网页、视频,等等)。图1的示例的显示面板102包括背光110,或者用于照亮显示屏幕108以供用户106观看的装置。图1的显示面板包括面板电子器件112或电路板(包括诸如定时控制器之类的硬件),以提供经由显示屏幕108的图形输出。
在用户设备104的工作期间,背光110和面板电子器件112消耗功率,以例如照亮显示屏幕108,处理图像数据以经由显示屏幕108显示,等等。显示面板102的总功率消耗(例如,瓦特)是基于背光110的功率消耗和面板电子器件112的功率消耗的。在一些示例中,显示面板102的功率消耗可以代表用户设备104的总功率消耗的相对较大部分。
当用户设备104处于通电工作状态时,用户106可以通过经由例如与用户设备104相关联的键盘和/或鼠标提供输入来与用户设备104(例如,与安装在其上的(一个或多个)应用107)交互。在一些示例中,显示屏幕108是触摸屏,并且用户106利用他或她的手指经由触摸显示屏幕108提供输入。示例用户设备104包括(一个或多个)用户输入检测传感器113。(一个或多个)用户输入检测传感器113例如与诸如键盘、触摸屏等之类的外围设备通信,并且生成指示用户106与用户设备104的交互的数据。(一个或多个)用户输入检测传感器113将指示用户活动或不活动的数据传送到处理器109。基于由(一个或多个)用户输入检测传感器113生成的数据,处理器109可以指示显示面板102在没有用户输入的预定义时间段(例如,10分钟、15分钟)之后关闭显示屏幕108。在一些示例中,在没有用户活动的预定义时间段之后,处理器109可以使得用户设备104进入睡眠模式,或者进入用户设备104在一段时间的不活动之后处于低功率状态中的模式。
尽管处理器109可以基于预定义时间段的用户不活动而使得用户设备104进入睡眠模式并且使得显示面板102关闭,但这种预定义时间段可能不会准确地反映出用户106相对于用户设备104的活动。例如,可能存在用户106没有看着显示屏幕108或者相对于用户设备104不存在的时间段,这样的时间段短于触发处理器109关闭显示屏幕108的预定义超时时段。例如,在用户设备104的工作期间,用户106可将他或她的注视从显示屏幕108移开,以例如与进入了房间的另一个人交谈。在一些示例中,用户106可从用户设备104走开,然后返回到用户设备104。因此,存在这样的时间段:在这些时间段中用户106可能没有关注显示屏幕108或者在用户设备104处不存在,而这些时间段没有被用户不活动的预定义超时时段准确地捕获。然而,在用户106没有注意显示屏幕108的这些时间段期间,显示面板102继续消耗功率。例如,显示面板102的背光110可以继续照亮显示屏幕108,虽然用户106已经将他或她的注视从显示屏幕108移开,以例如与和用户106一起在房间里的另一人交谈。
图1的示例用户设备104包括一个或多个图像传感器114。(一个或多个)图像传感器114提供了用于生成图像数据的装置。在图1中,(一个或多个)图像传感器114包括用户设备104的前置相机。(一个或多个)图像传感器114可以耦合到显示面板102和/或用户设备104的其他部分(例如,膝上型计算机的铰链)。图1的示例的(一个或多个)图像传感器114与图1中的虚线118、120之间限定的成像视场(FoV)116相关联。成像FoV 116可以对应于例如用户设备104的前置相机或图像传感器114的视场。在图1的示例中,(一个或多个)图像传感器114生成表示存在于成像FoV 116内的物体的图像数据。
如虚线圆圈122、124、125、126、128所示,当用户设备104处于通电状态时,用户106可移入和移出成像FoV 116。当在用户设备104所在的桌边工作时,用户106可在成像FoV116内。当用户106从用户设备104走开以例如应答门铃时,用户106可移出成像FoV 116。图1的(一个或多个)图像传感器114生成图像数据,该图像数据在用户106处于与虚线圆圈124、125、126相对应的位置时包括用户106。然而,当用户106处于与虚线圆圈122、128相对应的位置时生成的图像数据不包括用户106。
在图1的示例中,(一个或多个)图像传感器114在用户设备104处于通电状态时(包括在用户设备104处于睡眠模式时)生成图像数据。换句话说,(一个或多个)图像传感器114在始终开启模式下工作。为了节约电力,同时提供始终开启感测,图1的(一个或多个)图像传感器114在低功率模式下工作。例如,用户设备104的前置相机或者(一个或多个)图像传感器114当在始终开启模式下工作时可以以低分辨率捕获图像数据,以节约电力(例如,基于来自用户设备的处理器109的指令)。当前置相机在用户联系例如视频会议应用来使用设备期间生成元数据时,前置相机可以切换到生成高分辨率图像数据(例如,基于来自用户设备的处理器109的指令)。在视频会议应用的工作结束之后,前置相机可以返回到在始终开启的低功率模式下工作。因此,在一些示例中,图1的示例通过使用现有的生成图像数据的装置(例如,用户设备104的前置相机)来捕获用于确定用户存在的图像数据,从而进一步节约能量。在图1的示例中,(一个或多个)图像传感器114当在始终开启的低功率模式下工作时可以以例如10帧/秒的速率生成图像数据。
在图1的示例系统100中,由(一个或多个)图像传感器114生成的图像数据被显示面板控制器130处理。图1的显示面板控制器130用于处理由(一个或多个)图像传感器114生成的图像数据,以确定用户106是否存在于成像FoV 116内。图1的显示面板控制器130基于用户106在成像FoV 116内的存在,控制显示面板102的背光110和/或面板电子器件112中的一个或多个。图1的示例显示面板控制器130提供了用于控制显示面板102的工作的装置,以在用户设备104处用户不活动的时段期间节约显示面板102的功率消耗。
示例显示面板控制器130可以由用户设备104的一个或多个处理器实现,例如图1的处理器109。在一些示例中,由显示面板控制器130执行的至少一些分析是由在低功率模式或超低功率模式下工作的用户设备104的(一个或多个)处理器来实现的,例如(一个或多个)数字信号处理器。在其他示例中,显示面板控制器130由一个或多个基于云的设备实现,例如远离用户设备104定位的一个或多个服务器、处理器和/或虚拟机。在其他示例中,由显示面板控制器130执行的一些分析是由基于云的设备实现的,而分析的其他部分是由(一个或多个)本地处理器或(一个或多个)用户设备实现的。
在一些示例中,显示面板控制器130基本上实时地(例如,接近数据被收集的时间)接收图像数据。在其他示例中,显示面板控制器130在以后的时间接收图像数据(例如,周期性地和/或非周期性地,基于一个或多个设置,但在生成图像数据后的某个时间之后(例如,数秒后、数分钟后))。显示面板控制器130可以对图像数据执行一个或多个操作,例如对原始图像数据进行过滤和/或从图像数据中去除噪声。
在图1的示例中,显示面板控制器130执行一个或多个学习的模型,以基于由(一个或多个)图像传感器114生成的图像数据确定用户106在成像FoV 116内的存在。图1的示例显示面板控制器130由训练管理器131使用(一个或多个)机器学习技术(例如,监督学习)和包括用户106和/或其他用户的训练图像数据进行训练,以检测(一个或多个)人类脸部和/或识别(一个或多个)特定的人类面部特征,例如鼻子、耳朵、嘴巴,等等。使用学习的(一个或多个)脸部检测模型,显示面板控制器130分析由(一个或多个)图像传感器114生成的图像数据,并且确定用户106是否存在于成像FoV 116内。基于对成像FoV 116中的用户106的检测和一个或多个预定义的规则,显示面板控制器130控制背光110和面板电子器件112的工作。
示例训练管理器131可以由用户设备104的处理器109实现。在其他示例中,训练管理器131由一个或多个基于云的设备实现,例如一个或多个服务器、处理器和/或虚拟机。在其他示例中,由训练管理器131执行的一些分析是由基于云的设备实现的,而分析的其他部分是由(一个或多个)处理器或一个或多个用户设备实现的。用于实现训练管理器131的(一个或多个)处理器和/或(一个或多个)基于云的设备可以与用于实现显示面板控制器130的(一个或多个)处理器和/或(一个或多个)基于云的设备相同或不同。
作为示例,显示面板控制器130可以使用(一个或多个)脸部检测模型来分析图像数据,并且确定用户106不存在于成像FoV 116中(例如,如图1的虚线圆圈122或虚线圆圈128所表示的那样)。在这样的示例中,显示面板控制器130生成一个或多个指令,从而引导背光110和面板电子器件112关闭。在一些示例中,显示面板控制器130生成(一个或多个)指令,以使得背光110和面板电子器件112比在显示面板102的工作基于用户不活动的预定义超时时段(例如,15分钟之后)被控制的情况下更早地关闭。因此,显示面板控制器130可以通过基于用户106相对于用户设备104的存在而控制显示面板102来提供额外的电力节省。
在一些示例中,显示面板控制器130基于使用(一个或多个)脸部检测模型对图像数据的分析,确定用户106存在于成像FoV 116内(例如,由虚线圆圈124、125、126中的任何一个表示)。在这样的示例中,显示面板控制器130指示面板电子器件开启。在一些示例中,显示面板控制器130还指示背光110开启并且以默认的亮度设置(例如,由制造商或用户预定义的亮度水平)输出光,以期待用户106观看显示屏幕108。
在确定用户存在于用户设备104处的其他示例中,显示面板控制器130避免指示背光110开启或者避免调整背光110的亮度(例如,流明水平),直到显示面板控制器130确定用户106在与显示屏幕108相关联的显示视场132内为止,如图1的虚线134、136所限定的。换句话说,当用户106存在于成像FoV 116中时,示例显示面板控制器130基于用户106相对于显示屏幕108的位置来考虑是否应当调整背光110的亮度,以进一步节省能量。
在图1的示例中,显示FoV 132是基于用户106与显示屏幕108的预期观看距离和显示屏幕108的观看角度(例如,由例如制造商规格所限定的显示屏幕108可被用户观看并且在色调、对比度等等方面有足够的视觉输出的最大角度)来限定的。显示屏幕108的观看角度和/或观看距离可以基于例如显示屏幕108的尺寸,显示屏幕的类型(例如,LCD),等等。示例显示面板控制器130分析由(一个或多个)图像传感器114生成的图像数据,以基于所学习的(一个或多个)脸部检测模型和显示屏幕108的显示FoV 132的预定义范围来确定用户106是否在显示FoV 132内。
在图1的示例中,如果显示面板控制器130确定用户106在成像FoV116内,但不在显示FoV 132内,则由于用户106邻近用户设备104,显示面板控制器130基于用户106在不久的将来将会看着显示屏幕108的可能性,生成用于开启或激活面板电子器件112的(一个或多个)指令。然而,为了降低显示面板102的不必要的功率消耗,显示面板控制器130避免激活背光110,直到显示面板控制器130确定用户106在显示FoV 132内为止。
当图1的示例显示面板控制器130确定用户在显示FoV 132内时,显示面板控制器130使用所学习的(一个或多个)脸部检测模型来分析图像数据以识别用户106的注视相对于(一个或多个)图像传感器114的方向。在图1的示例中,用户的注视相对于(一个或多个)图像传感器114的方向作为用户相对于显示屏幕108的注视的指标,从而作为用户106对显示屏幕108的关注度的指标。
显示面板控制器130基于对图像数据中的面部特征的识别(包括例如一只耳朵是否可见,两只眼睛是否可见等等)来确定注视方向。基于对用户106的注视的分析,显示面板控制器130确定用户106是否关注显示屏幕108(例如,注意显示屏幕108上的内容)。尽管用户106处于显示FoV 132中,但用户106可能没有注意到显示屏幕108,而是至少部分地从显示屏幕108转开,如图1的弯曲箭头137所表示。例如,用户106可能坐在他或她的桌边、在显示FoV 132内,但在与同事交谈、阅读纸质文档等等的同时从显示屏幕108转开。示例显示面板控制器130基于对用户的注视的分析来控制背光110的亮度,以进一步管理功率消耗。
具体而言,当用户106处于显示FoV 132中时,图1的示例显示面板控制器130基于用户106在显示FoV 132中的位置(例如,基于显示FoV132中的x和y坐标)以及用户106的脸部相对于用户设备104的(一个或多个)图像传感器114的角度来确定用户视场138。在图1的示例中,用户FoV 138由虚线140、142限定。为了确定用户的脸部相对于(一个或多个)图像传感器114的角度,示例显示面板控制器130分析由(一个或多个)图像传感器114收集的图像数据中捕获的用户106的面部特征和头部朝向。在图1的示例中,显示面板控制器130由训练管理器131使用(一个或多个)机器学习算法来训练以识别面部特征。
例如,如果显示面板控制器130在图像数据中识别出用户106的鼻子或嘴巴,则显示面板控制器130确定用户的注视正对或基本上正对(一个或多个)图像传感器114。因此,显示面板控制器130确定显示屏幕108在用户的视场138内,并且显示面板控制器130指示背光110以默认亮度设置来输出光。
作为另一示例,如果显示面板控制器130在图像数据中仅识别出用户106的一只耳朵,则显示面板控制器130确定用户106的脸部相对于(一个或多个)图像传感器114处于一个角度(例如,用户的头部相对于(一个或多个)图像传感器114转动了45-90°角)。因此,显示面板控制器130将背光110的亮度降低(例如,调暗)一个预定义的百分比,以便在用户106存在但没有活跃地看着显示屏幕108时节省电力。换句话说,当用户的头部相对于(一个或多个)图像传感器114转动了一个角度时,用户106正注视着显示屏幕108的右侧或左侧,从而显示屏幕108的至少一部分不在用户的视场138内。在这样的示例中,当用户的注视被从显示屏幕108移开时,背光110可以被调暗以节约电力。
作为另一示例,如果显示面板控制器130确定用户106存在于显示FoV 132内,但在图像数据中没有识别出任何面部特征,例如鼻子、嘴巴、耳朵等等,则显示面板控制器130确定用户的注视指向与(一个或多个)图像传感器114相反的方向。因此,显示面板控制器130指示背光110关闭,因为用户106没有在看着显示屏幕108,尽管他存在于显示FoV 132内。换句话说,当用户的脸部朝向与(一个或多个)图像传感器114相反的方向时,显示屏幕108不在用户的视场138中,因此,在用户106从显示屏幕108转开的同时,背光110可以被关闭以降低功率消耗。因此,图1的示例显示面板控制器130将用户106的脸部相对于(一个或多个)图像传感器114的朝向视为对于用户106是否关注显示屏幕108的指示。
图1的显示面板控制器130分析由(一个或多个)图像传感器114生成的与用户106在显示FoV 132内的朝向和位置有关的图像数据,以识别在用户将他或她的注视移向或远离用户设备104时,用户视场中的变化。例如,显示面板控制器130可以基于在第一时间收集的图像数据,确定用户的注视从(一个或多个)图像传感器114转开。显示面板控制器130指示背光110调暗,因为用户106被确定为没有关注显示屏幕108。然而,显示面板控制器130随后可以基于在发生于第一时间之后的第二时间收集到的图像数据中对诸如用户的鼻子和嘴巴之类的面部特征的识别,确定用户的注视正转向显示屏幕108。相应地,显示面板控制器130指示背光110增大亮度,以便在用户106将他或她的注视导向显示屏幕108时照亮显示屏幕108。
在一些示例中,当显示面板控制器130确定用户的注视正转向显示屏幕108时,显示面板控制器130指示背光110逐渐增大亮度(例如,按预定义的百分比),或者当显示面板控制器130确定用户的注视正从显示屏幕108转开时,显示面板控制器130指示背光110逐渐减小亮度(例如,按预定义的百分比),以便不因亮度的突然变化而分散用户106的注意力或干扰用户106。在一些示例中,显示面板控制器130基于用户的注视朝向或远离显示屏幕108而变化的预期旋转速率来控制背光110的亮度的变化速率。例如,当显示面板控制器130确定用户的注视正从用户106相对于(一个或多个)图像传感器114处于45°的角度的位置转向(一个或多个)图像传感器114(从而转向显示屏幕108)时,显示面板控制器130可以指示背光110以第一速率增大亮度。当显示面板控制器130确定用户的注视正从用户106背对(即,180°背离)(一个或多个)图像传感器114的位置转向(一个或多个)图像传感器114时,显示面板控制器130可以指示背光110以比第一速率慢的第二速率增大亮度,因为显示屏幕108进入用户视场138的时间量增大。
作为另一示例,与60°的角度相比,当用户106的脸部被定位为相对于(一个或多个)图像传感器114处于90°的角度时,显示面板控制器130可以指示背光110更迅速地调暗。如上所述,显示面板控制器130可以基于在图像数据中识别的面部和/或头部特征(例如,用户鼻子的一部分、耳朵的完整图像,等等)来区分不同的头部朝向。在这样的示例中,因为当用户的脸部被定位为相对于(一个或多个)图像传感器114处于90°时,显示屏幕108不在用户FoV 138中,因此与用户的脸部被定位为相对于(一个或多个)图像传感器114处于60°并且显示屏幕108至少部分保持在用户FoV 138中的时时候相比,显示屏幕108可以被迅速调暗而不干扰用户106。因此,显示面板控制器130在用户106的注视以不同的角度转离和转向(一个或多个)图像传感器114时,将对用户106的干扰降到最低限度。
在图1的示例中,可以基于所学习的反馈来完善由显示面板控制器130对图像数据的分析和对显示面板102的相应控制。例如,显示面板控制器130可以基于关于用户106(或另一用户)的注视朝向或远离(一个或多个)图像传感器114的旋转变化速率所学习到的数据来调整背光110增大或减小显示屏幕108的亮度的速率。
在一些示例中,用户106可以限定要由显示面板控制器130实现的一个或多个设置,例如关于背光110调暗的百分比,当用户106离开成像FoV 116时面板电子器件112在多长时间段后关闭,等等。因此,在一些示例中,用户106可以限定、改变和/或超控由显示面板控制器130实现的电力节省措施。
因此,图1的示例显示面板控制器130分析由用户设备104的(一个或多个)图像传感器114生成的关于用户106相对于显示屏幕108的存在和关注度的图像数据。示例显示面板控制器130基于用户106在成像FoV116和显示FoV 132内的存在,通过控制背光110和/或面板电子器件112的(一个或多个)工作状态来管理显示面板102所消耗的电力。另外,显示面板控制器130基于用户106的注视以及显示屏幕108是否在用户的视场138内(例如,基于用户的头部相对于(一个或多个)图像传感器114的朝向)来调整背光110。
在一些示例中,显示面板控制器130基于来自用户设备104的一个或多个环境光传感器144的数据来选择性地调整显示面板102的功率消耗。图1的(一个或多个)环境光传感器144测量照度并且生成指示用户设备104所在的周围环境中的光(例如,强度)的数据。在图1的示例中,如果来自(一个或多个)环境光传感器144的数据指示房间是黑暗或者昏暗照明的,则显示面板控制器130指示背光110逐渐调暗或增大亮度,以考虑到用户106对黑暗环境中的亮度变化的敏感性增大(例如,防止产生显示内容在闪烁的印象)。
在一些示例中,显示面板控制器130基于来自(一个或多个)用户输入检测传感器113的数据来进一步降低用户设备104的功率消耗,该数据指示用户106正活跃地与用户设备104交互(例如,在键盘上键入)。在这样的示例中,在用户输入指示用户当前存在并且关注着用户设备104时,显示面板控制器130通过指示(一个或多个)图像传感器114不生成图像数据和/或避免分析与用户的注视有关的图像数据来节省功率成本。
图2是图1的示例训练管理器131和显示面板控制器130的示例实现方式的框图。此示例的训练管理器131包括训练器200和机器学习引擎202。训练器200使用训练图像数据204(例如,经由监督学习)训练机器学习引擎202,以生成一个或多个模型,这些模型被显示面板控制器130用来识别用户设备104的用户的脸部和/或面部特征。训练图像数据204可以包括用户106和/或其他对象的历史图像数据。在一些示例中,如果显示面板控制器130要基于对特定用户106的检测来控制(例如,开启)显示面板102,作为例如用户设备104的安全性用户访问策略的一部分,那么训练图像数据包括特定用户106的图像数据。在其他示例中,训练图像数据204可以包括多个人类对象的图像数据。在图2的示例中,训练图像数据204被存储在数据库206中。在一些示例中,训练管理器131包括数据库206。在其他示例中,数据库206位于训练管理器131外部,在如图2中所示的训练管理器131可访问的位置中。
如上所述,示例显示面板控制器130被构造以通过基于用户相对于用户设备的显示屏幕(例如,图1的显示屏幕108)的存在和关注度调整显示面板的背光(例如,图1的背光110)和面板电子器件(例如,图1的面板电子器件112)中的一个或多个的工作,来管理用户设备(例如,图1的用户设备104)的显示面板(例如,图1的显示面板102)的功率消耗。显示面板控制器130从图1的用户设备104的(一个或多个)图像传感器114(例如,前置相机)接收图像数据208。图像数据208表示图1所示的(一个或多个)图像传感器114的示例成像FoV 116内的物体。如上所述,图1的(一个或多个)图像传感器114是始终开启的传感器,因此,当用户设备104处于通电状态(包括睡眠模式)时,可以生成图像数据。(一个或多个)图像传感器114可以生成图像数据208,这可以是低分辨率的图像数据,其速率例如为每秒10帧。
图像数据208被存储在数据库210中。在一些示例中,显示面板控制器130包括数据库210。在其他示例中,数据库210位于显示面板控制器130外部,在如图2中所示的显示面板控制器130可访问的位置中。图2的数据库206、210可以是相同的存储设备或者不同的存储设备。
图2的示例数据库210存储关于成像FoV 116和显示FoV 132的数据。可以经由(一个或多个)用户输入基于例如(一个或多个)图像传感器114和显示屏幕108的制造规格(例如,观看角度、视场,等等)来提供关于成像FoV 116和显示FoV 132的数据。
图2的示例显示面板控制器130包括用户存在检测器212。用户存在检测器212使用训练器200在训练期间生成的(一个或多个)机器学习模型来分析图像数据208。(一个或多个)机器学习模型包括(一个或多个)脸部检测模型214。在图1的示例中,(一个或多个)脸部检测模型214被存储在数据库210中。用户存在检测器212使用(一个或多个)脸部检测模型214来识别成像FoV 116中用户脸部的存在。
图2的示例显示面板控制器130包括注视检测器216。在图2的示例中,如果用户存在检测器212确定用户106存在于成像FoV 116中,则用户存在检测器212指示注视检测器216分析图像数据208以确定用户106是否存在于显示FoV 132中。如果用户存在检测器212确定用户106不在成像FoV 116中,则用户存在检测器212避免指示注视检测器216分析图像数据208以降低功率消耗,因为用户存在检测器212已经确定用户106相对于图1的用户设备104不存在。
示例注视检测器216使用(一个或多个)脸部检测模型214来分析图像数据208,以确定用户106是否存在于显示FoV 132中。如果注视检测器216确定用户106在显示FoV 132中,则注视检测器使用(一个或多个)脸部检测模型214来分析图像数据208中的用户106的面部特征,以确定用户106在显示FoV 132内的位置、用户的注视相对于(一个或多个)图像传感器114的角度,并从而确定用户的视场138。例如,注视检测器216识别图像数据208中的用户106的(一个或多个)面部特征,例如嘴巴、鼻子、(一个或多个)眼睛和(一个或多个)耳朵,以确定用户106是面对(一个或多个)图像传感器114,是以相对于(一个或多个)图像传感器114的某个角度看着,还是背对着(一个或多个)图像传感器114。基于用户的脸部相对于(一个或多个)图像传感器114的角度,注视检测器216确定用户是关注还是未关注显示屏幕108。例如,如果注视检测器216确定用户106正面对着(一个或多个)图像传感器114,从而显示屏幕在用户的视场内,则注视检测器216确定用户106关注着显示屏幕108。如果注视检测器216检测到用户106的脸部相对于(一个或多个)图像传感器114处于某个角度,从而显示屏幕108部分地从用户的视场中移开,则注视检测器216确定用户对于显示屏幕108是不关注的。在一些示例中,注视检测器216基于用户在显示FoV 132内的位置(例如,使用x-y坐标)来验证显示屏幕108不在用户的视场中或者至少部分地在用户的视场中。
图2的示例显示面板控制器130包括面板电子器件管理器218。面板电子管理器218生成(一个或多个)指令,这些指令被传送到图1的显示面板102的面板电子器件112,以控制显示面板102的面板电子器件112的工作。面板电子器件管理器218经由一个或多个有线或无线连接将(一个或多个)指令传送到面板电子器件112。图2的示例显示面板控制器130包括背光管理器220。背光管理器220生成(一个或多个)指令以控制图1的显示面板102的背光110的工作。背光管理器220经由一个或多个有线或无线连接将(一个或多个)指令传送到背光110。在图2的示例中,用户存在检测器212和注视检测器216与面板电子器件管理器218和背光管理器220通信,以基于用户106相对于用户设备104的存在和关注度来控制显示面板102的工作。
在图1的示例中,如果用户存在检测器212确定用户106存在于成像FoV 116中,则用户存在检测器212向面板电子管理器218发送第一消息,从而指示用户存在。如果用户存在检测器212确定用户106不存在于成像FoV 116中,则用户存在检测器212向面板电子管理器218发送第二消息,从而指示用户不存在。第一消息和第二消息可以包括元数据(例如,“1”表示存在,“0”表示不存在),以代替实际图像数据,从而降低显示面板控制器130在管理显示面板102时的功率使用。
面板电子器件管理器218基于从用户存在检测器212接收到的(一个或多个)消息和一个或多个面板电子器件规则222,为面板电子器件112生成并传送(一个或多个)指令。(一个或多个)面板电子器件规则222被存储在数据库210中。(一个或多个)面板电子器件规则222基于用户106在成像FoV 116中的存在或不存在,为面板电子器件112限定工作状态(例如,开启或关闭)。例如,(一个或多个)面板电子器件规则222可以规定:当用户106在成像FoV 116中存在时,面板电子器件112将被开启,而当用户106在成像FoV 116中不存在时,面板电子器件112将被关闭。可以基于一个或多个用户输入来限定(一个或多个)面板电子器件规则222。
如上文公开的,背光110的工作是基于用户106在显示FoV 132内的存在(具体而言是用户106相对于(一个或多个)成像传感器114的注视)来进行控制的。在图2的示例中,如果注视检测器216确定用户存在于显示FoV 132中并且是关注的,则注视检测器216向背光管理器220发送第一消息,从而指示用户106在交互。如果注视检测器216确定用户106存在于显示FoV 132中,但不关注,则注视检测器216向背光管理器220发送第二消息,从而指示用户106取消交互,或者换句话说,显示屏幕至少部分地从用户的视场中移开。从注视检测器216发送的(一个或多个)消息可以包括对用户106的注视相对于(一个或多个)图像传感器114的方向的指示(例如,正对(一个或多个)图像传感器114,面向(一个或多个)图像传感器114的左侧,背对(一个或多个)图像传感器114,等等)。
背光管理器220基于从注视检测器216接收到的关于用户的注视的(一个或多个)消息和一个或多个背光规则224,生成并传送对于背光110的(一个或多个)指令。存储在数据库210中的(一个或多个)背光规则224基于如用户106的脸部相对于(一个或多个)图像传感器114的角度和相应的用户视场138所指示的用户相对于(一个或多个)图像传感器114的注视来限定背光110要输出的亮度水平(例如,流明测量结果)。
例如,(一个或多个)背光规则224可以规定:如果面板电子器件112被关闭(例如,当用户106不存在时),背光110应当被关闭。(一个或多个)背光规则224可以规定:如果面板电子器件112被开启,则背光110应当被开启,但是应当基于用户相对于(一个或多个)图像传感器的注视来调整背光110的亮度。例如,(一个或多个)背光规则224可以规定:如果用户的注视面对着(一个或多个)图像传感器114,则背光110的亮度应当被调整到默认的亮度设置。(一个或多个)背光规则224可以规定:如果用户的注视与(一个或多个)图像传感器114成30°-45°的角度偏离(即,用户FoV 138导向电子设备的右侧或左侧),则背光110的亮度应当被减小到默认亮度的90%。(一个或多个)背光规则224可以规定:如果用户的注视相对于(一个或多个)图像传感器114成45°-90°的角度,则背光110的亮度应当被减小到默认亮度的50%。(一个或多个)背光规则224可以规定:如果用户的注视的方向与(一个或多个)图像传感器114成180°偏离,则背光110可以被关闭,因为显示屏幕108不在用户的视场中。(一个或多个)背光规则224可以针对背光110的亮度和用户的注视方向限定不同程度的粒度。
在一些示例中,(一个或多个)背光规则224基于指示用户设备104所在的环境中的环境照明的数据来限定背光110的亮度。示例显示面板控制器130包括环境光分析器226,以用于分析由(一个或多个)环境光传感器144收集的关于周围环境的亮度的环境光数据228。基于对环境光数据228的分析,背光管理器220实现(一个或多个)背光规则224,这些规则限定了背光110应当被调暗或变亮的速率,以考虑到例如用户106对黑暗环境中的亮度变化的敏感性增大。
在图2的示例中,用户存在检测器212和注视检测器216继续分析随着时间的流逝由(一个或多个)图像传感器114生成的图像数据208。如果注视检测器216基于在两个或更多个时间段收集到的图像数据208确定用户的注视方向正在变化(例如,用户的脸部正转向或转离(一个或多个)图像传感器114),则背光管理器220实现(一个或多个)背光规则224,这些规则限定了背光110应当随着用户的注视方向变化以及显示屏幕进入或离开用户的视场而被调暗或变亮的速率。例如,(一个或多个)背光规则224可以规定:与从用户朝向与(一个或多个)图像传感器114偏离180°的位置相比,如果用户106正从偏离(一个或多个)传感器114的60°的初始角度转向(一个或多个)图像传感器114,则背光110应当被更迅速地变亮。这样的(一个或多个)规则考虑到了随着用户的注视方向的变化,显示屏幕108进入用户的视场的时间量。
图2的示例显示面板控制器130包括反馈分析器227。示例反馈分析器227分析与用户行为有关的(一个或多个)模式和/或(一个或多个)趋势,以完善(一个或多个)背光规则224。例如,反馈分析器227分析用户106改变方向或者他或她的注视朝向或远离(一个或多个)图像传感器114的时间量,以调整限定背光110应当被调暗或变亮的速率的(一个或多个)背光规则224。在一些示例中,反馈分析器227基于(一个或多个)用户设置232来调整(一个或多个)面板电子器件规则222和/或(一个或多个)背光规则224。(一个或多个)用户设置232可以限定关于背光110的亮度水平、当用户106从(一个或多个)图像传感器114转开目光时的亮度的变化等的用户偏好。在一些示例中,反馈分析器227与训练管理器131的训练器200通信,以基于由(一个或多个)图像传感器114在用户设备104的工作期间收集到的包括用户106的图像数据208来完善(一个或多个)脸部检测模型214。
在一些示例中,图2的显示面板控制器130实现额外的电力节省措施以补充显示面板102的功率管理。例如,在一些示例中,图像数据208被临时存储在数据库210中,并且在用户存在检测器212和注视检测器216对图像数据进行分析之后被删除。在一些示例中,在第一时间收集到的图像数据208被在后来时间收集的新的图像数据208所覆盖。当显示面板控制器130在低功率模式下工作时,图像数据208的临时存储节约了存储资源。
作为另一示例,图2的显示面板控制器130包括用户交互检测器229,以分析由图1的(一个或多个)用户输入检测传感器113生成的、指示用户与用户设备104(例如,键盘)交互的数据。在图2的示例中,如果用户交互检测器229确定用户106正在与用户设备104进行交互,则面板电子器件管理器218指示面板电子器件112进入通电状态,并且背光管理器220指示背光110以默认亮度设置来工作。在一些这样的示例中,用户交互检测器229指示用户存在检测器212和注视检测器216避免分析图像数据208,因为用户106存在并且在与用户设备104交互。在一些这样的示例中,用户交互检测器229指示(一个或多个)图像传感器114避免生成图像数据208,以在用户106在与用户设备104交互时节约电力。在这样的示例中,(一个或多个)图像传感器114仍然可联系安装在用户设备104上的(一个或多个)其他应用107而生成图像数据,例如视频会议应用。
在一些示例中,除了管理背光110和面板电子器件112的工作以外,显示面板控制器130还提供了用户设备104处的额外电力节省。示例显示面板控制器130包括应用使用检测器230。应用使用检测器230在用户106存在于用户设备104处但不关注显示屏幕108时,确定安装在图1的用户设备104上的任何(一个或多个)应用107是否在工作中。在这样的示例中,应用使用检测器230触发经由显示屏幕108显示的全屏图形,从而使得(一个或多个)其他应用107被用户设备104的处理器109视为(一个或多个)背景窗口。当(一个或多个)应用107被视为(一个或多个)背景窗口时,与渲染和(一个或多个)应用107相关联的图像数据有关的活动可以被减少。
虽然在图2中图示了实现图1的训练管理器131的示例方式,但图2中所示的元件、过程和/或设备中的一个或多个可以被组合、划分、重布置、省略、消除和/或以任何其他方式来实现。另外,图2的示例训练器200、示例机器学习引擎202、示例数据库206和/或更概括而言示例训练管理器131可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此,例如,示例训练器200、示例机器学习引擎202、示例数据库206和/或更概括而言示例训练管理器131中的任何一者可以由一个或多个模拟或数字电路、逻辑电路、(一个或多个)可编程处理器、(一个或多个)可编程控制器、(一个或多个)图形处理单元((一个或多个)GPU)、(一个或多个)数字信号处理器((一个或多个)DSP)、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD))来实现。当读到本专利的任何装置或系统权利要求涵盖纯软件和/或固件实现方式时,示例训练器200、示例机器学习引擎202和/或示例数据库206中的至少一者在此被明确定义为包括具有该软件和/或固件的非暂态计算机可读存储设备或存储盘,例如存储器、数字多功能盘(DVD)、光盘(CD)、蓝光盘等等。此外,图2的示例训练管理器131可以包括除了图2中所示的那些以外或者取代图2中所示的那些的一个或多个元件、过程和/或设备,和/或可以包括多于一个图示的元件、过程和设备中的任何一者或所有。如本文所使用的,短语“与……通信”(包括其变体)涵盖了直接通信和/或通过一个或多个中间组件的间接通信,并且不要求直接物理(例如,有线)通信和/或不断的通信,而是还包括以周期性间隔、排定的间隔、非周期性间隔和/或一次性事件的选择性通信。
虽然在图2中图示了实现图1的显示面板控制器130的示例方式,但图2中所示的元件、过程和/或设备中的一个或多个可以被组合、划分、重布置、省略、消除和/或以任何其他方式来实现。另外,示例数据库210、示例用户存在检测器212、示例注视检测器216、示例面板电子器件管理器218、示例背光管理器220、示例环境光分析器226、示例反馈分析器227、示例用户交互检测器229、示例应用使用检测器230和/或更概括而言图3的示例显示面板控制器300可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此,例如,示例数据库210、示例用户存在检测器212、示例注视检测器216、示例面板电子器件管理器218、示例背光管理器220、示例环境光分析器226、示例反馈分析器227、示例用户交互检测器229、示例应用使用检测器230和/或更概括而言图3的示例显示面板控制器300中的任何一者可以由一个或多个模拟或数字电路、逻辑电路、(一个或多个)可编程处理器、(一个或多个)可编程控制器、(一个或多个)图形处理单元((一个或多个)GPU)、(一个或多个)数字信号处理器((一个或多个)DSP)、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)来实现。当读到本专利的任何装置或系统权利要求覆盖纯软件和/或固件实现方式时,示例数据库210、示例用户存在检测器212、示例注视检测器216、示例面板电子器件管理器218、示例背光管理器220、示例环境光分析器226、示例反馈分析器227、示例用户交互检测器229和/或示例应用使用检测器230中的至少一者在此被明确定义为包括具有该软件和/或固件的非暂态计算机可读存储设备或存储盘,例如存储器、数字多功能盘(DVD)、光盘(CD)、蓝光盘等等。此外,图2的示例显示面板控制器130可包括除了图2中所示的那些以外或者取代图2中所示的那些的一个或多个元件、过程和/或设备,和/或可以包括多于一个图示的元件、过程和设备中的任何一者或所有。如本文所使用的,短语“与……通信”(包括其变体)涵盖了直接通信和/或通过一个或多个中间组件的间接通信,并且不要求直接物理(例如,有线)通信和/或不断的通信,而是还包括以周期性间隔、排定的间隔、非周期性间隔和/或一次性事件的选择性通信。
图3描绘了将由图2的示例显示面板控制器130的面板电子器件管理器218和背光管理器220基于图2的用户存在检测器212是否在与(一个或多个)图像传感器114相关联的成像FoV 116中检测到脸部而实现的(一个或多个)面板电子器件规则222和(一个或多个)背光规则224的图形表示。如图3所示,当用户存在检测器212在成像FoV 116中检测到脸部时,(一个或多个)示例面板电子器件规则222指示显示面板102的面板电子器件112应当被开启。另外,图3的(一个或多个)示例背光规则224指示,显示面板102的背光110应当被开启到例如默认的亮度设置,以期待用户106观看显示屏幕108。还如图3所示,当用户存在检测器212没有在成像FoV 116中检测到脸部时,(一个或多个)规则222、224指示显示面板102的面板电子器件112和背光110应当被关闭。
图4描绘了图2的示例显示面板控制器130的背光管理器220基于相对于用户设备104的(一个或多个)图像传感器114的用户注视方向以及用户的视场而将要实现的(一个或多个)背光规则224的图形表示。如上所述,尽管用户106可能在显示FoV 132内,但可能存在用户106没有关注显示屏幕108的实例。在这样的示例中,背光110的亮度可以被调整以节省电力。
如图4所示,当注视检测器216基于对由(一个或多个)图像传感器114生成的图像数据208的面部特征识别而确定用户的脸部朝向或者基本朝向(一个或多个)成像传感器114时,(一个或多个)背光规则224指示背光110应当被设置到默认亮度设置。如果基于面部特征分析,注视检测器216确定用户的脸部相对于(一个或多个)图像传感器114转了一个角度(例如,45°、90°),则(一个或多个)背光规则224指示:当显示屏幕108在用户视场之外或者至少从用户视场移开时,背光110的亮度应当按特定的百分比(例如,90%、50%)被调暗。如果注视检测器216确定用户的脸部方向与(一个或多个)成像传感器114是180°相反的(例如,由于在图像数据中没有诸如嘴巴或鼻子之类的面部特征),则(一个或多个)背光规则224指示背光110应当被关闭。
图5描绘了图表500,图表500示出了:基于用户(例如,用户106)的关注度和存在,用户设备104(图1)的背光110和面板电子器件112的功率状态随时间的变化。如图5的图表500所示,在时间t1,图1和图2的显示面板控制器130基于例如在电子设备处检测到(一个或多个)用户输入(例如,经由图1的(一个或多个)用户输入检测传感器113)来确定用户是关注的。在一些示例中,显示面板控制器130基于用户相对于图1和图2的(一个或多个)图像传感器114的注视方向(例如,如基于图像数据208和(一个或多个)脸部检测模型214所确定的)来确定用户是关注的。因此,在时间t1,显示面板控制器130的面板电子器件管理器218指示面板电子器件112处于通电状态中。另外,背光管理器220指示背光110处于通电状态中,并且以例如默认的亮度水平来输出光。
在时间t2,图1和图2的显示面板控制器130基于用户相对于(一个或多个)图像传感器114的注视方向(例如,如基于图像数据208和(一个或多个)脸部检测模型214所确定的),确定用户没有关注。因此,背光管理器220指示背光110减小亮度。在图5的示例中,背光管理器220基于例如(一个或多个)背光规则224指示背光110在用户被确定为未关注的时间段中逐渐减小亮度。与背光110被完全关闭相比,亮度的逐渐降低可以防止在例如用户坐在他或她的桌边但没有使用电子设备102时调暗背光110会干扰用户。
在图5的示例中,在时间t3,图1和图2的显示面板控制器130的用户存在检测器212基于图像数据208和(一个或多个)脸部检测模型214确定用户不存在。因此,面板电子器件管理器218指示面板电子器件112关闭。另外,背光管理器220指示背光110关闭。如图5中的线502所表示的(该线表示十分钟的时间跨度),与基于用于关闭显示面板和/或使用户设备进入睡眠的预定义超时时段而使显示面板102不被关闭直到经过了十分钟的无活动为止的情况相比,图1和图2的示例显示面板控制器130更快地降低了显示面板102的功率消耗。
图6是示例时间线600,该时间线图示了基于分析与用户设备104(图1)的(一个或多个)用户交互,注视检测器216对背光110的控制。图6还图示了注视检测器216正在活跃分析图像数据并从而消耗功率(即,除了显示面板102所消耗的功率之外)的时间段。
如图6所示,在时间段t1期间,注视检测器216确定用户取消交互或不关注显示屏幕108(例如,基于用户相对于(一个或多个)图像传感器114的注视方向)。在时间段t1期间,显示面板控制器130的注视检测器216消耗功率以执行对用户注视的分析,如图6中的线602所表示。另外,背光管理器220控制背光110的亮度,如图6中的线604所表示。
在时间段t2,用户交互检测器229检测用户设备104处的(一个或多个)用户输入,例如键盘输入。如图6所示,显示面板控制器130禁止注视检测器216关于分析图像数据的工作,因为(一个或多个)用户输入指示用户存在并且与用户设备104交互。另外,鉴于用户与设备的交互,背光110以默认的亮度设置来输出光。因此,背光管理器220在时间段t2期间不调整背光110的亮度。
在图6的示例中,当用户交互检测器229没有检测到用户输入时,显示面板控制器130的注视检测器216恢复分析图像数据208以确定用户的关注度,从而在执行分析时消耗功率,如图6的线606所表示。例如,在时间段t3,注视检测器216确定用户的脸部正转离显示屏幕108(例如,基于用户相对于(一个或多个)图像传感器114的注视)。鉴于由注视检测器216执行的注视分析,背光管理器220恢复控制背光110的亮度,如图6的线608所表示。在图6的示例中,当注视检测器216确定用户已转离(一个或多个)图像传感器114(例如,转开180°)时,背光管理器220将背光110关闭。在一些这样的示例中,当背光110关闭时,注视检测器216不分析图像数据,直到例如图2的用户存在检测器212确定用户存在于成像FoV 116内为止。
在图6的示例中,在时间段t4检测到用户输入,因此,注视检测器216避免分析图像数据。因此,在图6的示例中,注视检测器216选择性地分析图像数据,以便在已知用户与用户设备104交互时(例如,如在图6中的时间段t2和t4),不引发不必要的能量成本。
表示用于实现示例训练管理器131和/或示例显示面板控制器130的示例硬件逻辑、机器可读指令、硬件实现状态机和/或其任何组合的流程图在图7和图8A-8B中示出。机器可读指令可以是供计算机处理器执行的可执行程序或者可执行程序的一部分,所述计算机处理器例如是下文联系图13和图14论述的(一个或多个)示例处理器平台1400中所示的(一个或多个)处理器131。该程序可以体现在存储于诸如CD-ROM、软盘、硬盘驱动器、DVD、蓝光盘或与(一个或多个)处理器130、131相关联的存储器之类的非暂态计算机可读存储介质上的软件中,但整个程序和/或其一些部分可以替代地由除了(一个或多个)处理器130、131以外的设备执行和/或体现在固件或专用硬件中。另外,虽然是参考图7和图8A-8B中所示的流程图来描述示例程序的,但可以替代地使用实现示例训练管理器131和/或示例显示面板控制器130的许多其他方法。例如,方框的执行顺序可被改变,和/或描述的方框中的一些可被改变、消除或组合。额外地或者替代地,任何或所有方框可由被构造为执行相应的工作而不执行软件或固件的一个或多个硬件电路(例如,分立和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等等)来实现。
如上所述,可以利用存储在非暂态计算机和/或机器可读介质上的可执行指令(例如,计算机和/或机器可读指令)来实现图7和图8A-8B的示例过程,所述介质例如是硬盘驱动器、闪存、只读存储器、光盘、数字多功能盘、缓存、随机访问存储器和/或其中信息可被存储任何持续时间(例如,存储较长时间段、永久存储、短暂存储、用于临时缓冲和/或用于信息的缓存)的任何其他存储设备或存储盘。如本文所使用的,术语非暂态计算机可读介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘并且排除传播信号和排除传输介质。
图7是当被执行时实现图1和/或图2的示例训练管理器131的示例机器可读指令的流程图。在图7的示例中,训练管理器131利用训练图像数据来训练图1和/或图2的示例显示面板控制器130,该训练图像数据是为可能在使用或不在使用图1的示例用户设备104的一个或多个用户生成的。如本文所论述的,训练管理器131生成机器学习模型,这些机器学习模型被图1和/或图2的显示面板控制器130用来基于用户相对于用户设备104的存在和关注度来控制背光110和面板电子器件112。
图7的示例指令可以由例如用户设备104、另一用户设备和/或基于云的设备的一个或多个处理器来执行。图7的指令可以随着训练图像数据被训练管理器131接收到而被基本上实时地执行或者在训练传感器数据被训练管理器131接收到之后的某个时间被执行。训练管理器131可以经由一个或多个有线或无线通信协议与显示面板控制器130通信。
图2的示例训练器200访问训练图像数据204(方框700)。训练图像数据204可以被存储在数据库206中。在一些示例中,训练图像数据204是为用户设备104的一个或多个用户生成的。在一些这样的示例中,可以从显示面板控制器130(例如,经由反馈分析器227)和/或直接从用户设备104的(一个或多个)图像传感器114接收训练图像数据204。在一些其他示例中,训练图像数据204是为不是用户设备104的用户的用户生成的。
图2的示例训练器200识别由训练图像数据204表示的用户面部特征(方框702)。作为示例,基于训练图像数据204,训练器200识别面部特征,例如鼻子、耳朵、嘴巴、额头等等。
图2的示例训练器200经由机器学习引擎202并且基于训练图像数据204生成一个或多个脸部检测模型214,该训练图像数据204基于检测到的面部特征限定用户存在和/或关注度(方框704)。例如,训练器200使用训练图像数据204来生成(一个或多个)脸部检测模型214,这些脸部检测模型被显示面板控制器130用来确定用户是否存在于成像FoV 116或显示FoV 132中。
示例训练器200可以使用不同的数据集和/或具有不同特异性水平的数据集来继续训练显示面板控制器130(方框706)。例如,训练器200可以生成第一脸部检测模型214,以确定用户是否存在于成像FoV 116中,并且生成第二脸部检测模型214,以确定用户的脸部是否转向(一个或多个)图像传感器114的右侧或左侧。当没有额外的训练要执行时(例如,基于(一个或多个)用户输入),示例指令结束(方框708)。
图8A和图8B包括当被处理器执行时实现图1和/或图2的示例显示面板控制器130的示例机器可读指令的流程图。在图8A和图8B的示例中,显示面板控制器130基于用户(例如,用户106)的存在和用户相对于用户设备(例如,用户设备104)的(一个或多个)图像传感器(例如,(一个或多个)图像传感器114)的注视,生成(一个或多个)指令以控制显示面板102的面板电子器件112和背光110。图8A和图8B的示例指令可以由例如用户设备104、另一用户设备和/或基于云的设备的一个或多个处理器来执行。如上所述,在一些示例中,图8A和图8B的至少一些指令由在低功率模式下工作的处理器执行,例如数字信号处理器,以降低处理和分析图像数据的功率消耗。图8A和图8B的指令可以在(一个或多个)图像传感器114生成图像数据和/或用户与用户设备104交互时被基本实时地执行。
示例用户交互检测器229确定用户是否在与用户设备104进行交互(方框800)。例如,用户交互检测器229检测用户设备104处的(一个或多个)用户输入,例如(一个或多个)键盘输入、(一个或多个)触摸屏输入、(一个或多个)鼠标点击等等。在图8A和图8B的示例中,如果用户交互检测器229确定用户正在与用户设备104交互,则面板电子器件管理器218指示显示面板102的面板电子器件112为通电状态,并且背光管理器220指示显示面板102的背光110以默认亮度设置(例如,由制造商或用户预定义的亮度水平)工作(方框802)。
如果用户没有与用户设备进行交互,则用户存在检测器212访问由用户设备104的(一个或多个)图像传感器114生成的图像数据208(方框804)。示例用户存在检测器212基于由(一个或多个)图像传感器114生成的图像数据208和由图1和图2的训练管理器131生成的(一个或多个)机器学习模型214(例如,(一个或多个)脸部检测模型),确定用户是否存在于与(一个或多个)图像传感器114相关联的成像视场(FoV)116内(方框806)。示例用户存在检测器212基于对成像FoV 116中的用户的脸部的识别来确定用户是否存在。
如果用户存在于成像FoV 116内(方框808),则面板电子器件管理器218生成并且传送(一个或多个)指令以使得面板电子器件被通电(方框810)。在一些示例中,如果面板电子器件已经被开启,则面板电子器件管理器218指示面板电子器件112维持通电状态。在一些其他示例中,面板电子器件管理器218指示面板电子器件112从断电状态转移到通电状态。
在图8A和图8B的示例中,如果用户存在检测器212确定用户处于成像FoV 116中,则注视检测器216确定用户是否处于显示FoV 132中(例如,如基于用户与用户设备104的显示屏幕108的预定义观看距离和显示屏幕108的观看角度来限定)(方框812)。注视检测器216可以基于图像数据208和用户在图像数据208中相对于显示FoV 132的位置(例如,x-y坐标)来确定用户是否在显示FoV 132中。
如果用户在显示FoV 132中,则注视检测器216应用(一个或多个)机器学习模型214(例如,(一个或多个)脸部检测模型)以确定用户的注视相对于(一个或多个)图像传感器114的位置(方框814)。注视检测器216使用(一个或多个)模型214来分析关于用户的脸部相对于(一个或多个)图像传感器114的角度的图像数据208。例如,如果注视检测器216在图像数据中只识别出一只耳朵,则注视检测器216确定用户正从显示屏幕108转开目光。
基于对关于用户相对于(一个或多个)图像传感器114的注视的图像数据的分析,注视检测器216确定显示屏幕108是否完全处于用户的视场138中(方框816)。在图8A和图8B的示例中,如果注视检测器216确定显示屏幕108在用户的视场138内,则鉴于用户相对于(一个或多个)图像传感器114的注视,图2的背光管理器220指示背光110以默认的亮度设置进行工作,以预期用户在看着显示屏幕108或者即将看着显示屏幕108(方框818)。背光管理器220基于存储在数据库210中的(一个或多个)背光规则224,生成用于背光110的指令。
在图8A和图8B的示例中,如果相反地注视检测器216确定显示屏幕108部分处于用户视场中(方框820),则图2的背光管理器220生成(一个或多个)指令以调整背光110的亮度(方框822)。例如,基于(一个或多个)背光规则224和由注视检测器216确定的用户的脸部相对于(一个或多个)图像传感器114的角度,背光管理器220指示背光110调暗或减小亮度。
在图8A和图8B的示例中,如果注视检测器216确定显示屏幕108不是至少部分在用户的视场138中,则背光管理器220指示背光110关闭(方框824)。因此,背光管理器220通过基于用户的注视方向和相应的视场来降低背光110的亮度或关闭背光110,从而来节约电力。
示例用户存在检测器212和注视检测器216继续分析从(一个或多个)图像传感器114接收的关于用户存在和关注度的图像数据208(方框828、832)。如果用户存在检测器212基于图像数据和(一个或多个)脸部检测模型214确定用户不存在于成像FoV 116中(方框808、828),则面板电子器件管理器218指示面板电子器件112关闭以在用户不存在时节约电力(方框830)。当显示面板控制器130没有接收到进一步的图像数据并且在用户设备104处没有检测到(一个或多个)用户输入时,图8A和8B的指令结束(方框834、836)。
以上联系图1-8B所公开的示例提供了:基于用户设备104的用户的注视方向和用户的相应视场来自动调整示例用户设备104的显示面板102的背光110的亮度。如上文所公开的,背光110的亮度可以随着显示屏幕108进入或离开用户的视场而增大或减小。在一些其他示例中,基于用户设备所在的环境中的环境光来自动调整诸如智能电话之类的用户设备的显示屏幕的背光的亮度。用户设备可以包括(一个或多个)环境光传感器(例如,图1的用户设备104的(一个或多个)环境光传感器144),以生成指示环境中的光水平(例如强度)的数据。可以基于例如当用户在不同环境之间携带用户设备时环境光数据的变化,来调整背光的亮度。例如,当用户从光线明亮的环境(例如,阳光充足的房间)移动到较暗的环境(例如,光线昏暗的走廊)时,可以调整显示屏幕的背光的亮度。
在一些这样的示例中,用户基于用户所在的环境手动调整背光的亮度,从而可以超控或关闭设备的自动亮度设置。例如,如果用户将用户设备从光线明亮的房间携带到黑暗的房间,则用户可能认为显示屏幕的背光在黑暗的房间里太亮了,即使背光的亮度已经基于环境光传感器数据被自动降低。在这种情况下,用户可以关闭自动亮度设置,并且手动设置背光亮度,以使得显示屏幕看起来是昏暗或调暗的。然而,如果用户随后带着用户设备从黑暗的环境移动到较亮的环境,则由于用户设备的自动亮度设置先前被用户关闭了,显示屏幕的背光保持关闭或者保持光线昏暗。因此,用户可能难以在较亮的环境中观看显示屏幕。
图9图示了根据本公开的教导构造的示例系统900,该系统用于在用户手动调整了背光902的亮度设置之后,响应于环境光的变化而控制与用户设备906的显示屏幕904相关联的背光902的亮度。用户设备906可以包括膝上型电脑、平板设备、智能电话、个人计算机等等。用户设备906包括处理器908来执行例如由用户经由用户设备906访问的(一个或多个)应用。示例用户设备906包括(一个或多个)环境光传感器910。图9的(一个或多个)环境光传感器910生成指示用户设备906所在的环境中的光的水平的数据(例如,照度)。
在图9的示例系统900中,由(一个或多个)环境光传感器910生成的图像数据被背光亮度管理器912处理。背光亮度管理器912用于处理由(一个或多个)环境光传感器910生成的环境光数据以确定背光902的亮度(例如,流明水平)。示例背光亮度管理器912可以由用户设备906的处理器908实现。在其他示例中,显示面板控制器130由一个或多个基于云的设备实现,例如远离用户设备906的一个或多个服务器、处理器和/或虚拟机。在其他示例中,由背光亮度管理器912执行的一些分析是由基于云的设备实现的,而分析的其他部分是由(一个或多个)本地处理器或一个或多个用户设备实现的。
例如,如果背光亮度管理器912基于环境光数据确定用户设备906处于光线明亮的房间中,则背光亮度管理器912增大背光110的亮度以提高用户在显示屏幕904上观看内容的能力。如果背光亮度管理器912确定用户设备处于光线暗淡或黑暗的房间中,则背光亮度管理器912降低背光902的亮度以防止背光对用户的眼睛造成不适。
在图9的示例中,用户可以通过访问例如由处理器908执行的背光用户设置应用并且通过在用户设备906处(例如,经由显示屏幕904)提供一个或多个输入来手动调整背光110的亮度设置。例如,用户可以降低背光110的亮度,从而超控由背光亮度管理器912基于环境光传感器数据设置的背光902的亮度设置。
在图9的示例中,背光亮度管理器912鉴于由(一个或多个)环境光传感器910随着时间的流逝生成的环境光数据,评估与背光110的亮度有关的(一个或多个)用户输入。基于该分析,背光亮度管理器912确定背光902的亮度是应当保持在用户定义的设置,还是背光902的亮度是否应当根据环境光水平的变化而被自动调整。环境光水平的变化可能是由于例如用户带着用户设备在各环境之间移动,或者由于环境内的变化(例如,在房间在夜里黑暗之后,在早晨开启卧室中的灯)而发生的。在图9的示例中,如果背光亮度管理器912确定环境光水平的变化已超过预定义的阈值,则背光亮度管理器912自动调整背光902的亮度,以便于观看显示屏幕904。如果背光亮度管理器912确定环境光水平的变化没有超过阈值,则背光亮度管理器912将背光912的亮度维持在用户定义的(即,手动)设置。
例如,背光亮度管理器912可以检测到,用户手动降低了背光902的亮度。如果基于由(一个或多个)环境光传感器910生成的环境光数据,背光亮度管理器912确定用户设备106已从黑暗环境移动到明亮环境,则背光亮度管理器912指示背光902增大亮度,尽管先前有降低亮度的用户输入。背光亮度管理器912增大背光110的亮度,以帮助用户在较亮的环境中观看显示屏幕904,因为显示屏幕否则可能太暗,以致用户无法在较亮的环境中观看。在一些示例中,背光亮度管理器912指示背光902以手动用户调整之前输出的亮度水平来输出光。在其他示例中,背光亮度管理器912基于与用户设备906所在的环境相关联的当前环境光数据来确定背光902的亮度。
图10图示了的根据本公开的教导的示例时间线1000,该时间线1000示出了一个或多个环境中的环境光随时间的变化以及图9的用户设备906的背光902的亮度的相应变化。如图10所示,在第一时间段t1,用户设备906位于与第一环境光水平1002相关联的环境中。在图10的示例中,背光902被设置为第一背光亮度水平1004。第一背光亮度水平1004可以由背光亮度管理器912基于来自图1的(一个或多个)环境光传感器910的数据来限定。在一些示例中,第一亮度水平1004是基于用户输入来限定的。
在第二时间段t2,用户设备906处于与第二环境光水平1006相关联的环境中。在图10的示例中,与第一时间段t1的环境的第一光水平1002相比,第二环境光水平1006降低(即,具有第二环境光水平1006的环境比具有第一光水平1004的环境更暗)。该黑暗环境可以是与第一时间段t1的环境不同的环境(例如,不同的房间)或者是与第一时间段t1的环境相同的环境(例如,已关灯的房间)。
在第二时间段t2期间的某个时间,用户设备906的用户在用户设备906处提供用户输入1008以调整背光902的亮度。例如,用户输入1008可以指示背光902以第二背光亮度水平1010输出光。第二背光亮度水平1010可以使得显示屏幕904与时间段t1的第一背光亮度水平1004相比显得黑暗或昏暗。在一些示例中,当被设置为第二背光亮度水平1010时,背光110被关闭。因此,在图10的示例中,与第一时间段t1期间的背光902的亮度相比,在第二时间段t2期间,背光902的亮度以及因此显示屏幕904的亮度被降低。
在第三时间段t3,用户设备906处于与第三环境光水平1012相关联的环境中。在图10的示例中,第三环境光水平1012比第二时间段t2的环境的第二环境光水平1006更亮。第三环境光水平1012可以与第一环境光水平1002相同或不同。
在图10的示例中,用户设备906的(一个或多个)环境光传感器910生成指示与时间段t1、t2、t3中的每一者相关联的各个环境光水平1002、1006、1012的环境光数据。在图10的示例中,图10的背光亮度管理器912检测到用户提供了用户输入1008以调整背光902的亮度。基于环境光数据,示例背光亮度管理器912确定在第二时间段t2和第三时间段t3之间环境光水平有变化。示例背光亮度管理器912计算第二环境光水平1006和第三环境光水平1012之间的差异,如图10中的增量符号1014所表示。例如,背光亮度管理器912确定第二环境光水平1006和第三环境光水平1012之间的照度差异。
示例背光亮度管理器912确定第二环境光水平1006和第三环境光水平1012之间的差异是否超过指示环境光水平的变化的预定义阈值。该阈值可以基于例如指示环境光水平的参考数据和要被背光902输出以促进在不同光水平下观看显示屏幕904的相应亮度水平(例如,基于屏幕类型、尺寸、观看角度等等)。
如果第二环境光水平1006和第三环境光水平1012之间的差异超过阈值,则背光亮度管理器912确定用户设备906不再处于黑暗或光线昏暗的环境中。相应地,背光亮度管理器912为背光110生成(一个或多个)指令,从而以第三背光亮度水平1016输出光。在图10的示例中,第三背光亮度水平1016比第二(用户定义的)背光亮度水平1010更亮。因此,背光亮度管理器912从用户定义的第二背光亮度水平自动调整背光902的亮度水平,以促进对显示屏幕904的观看。因此,基于第三环境光水平1012来动态调整背光亮度,而无需用户手动调整背光902以在较亮环境中增大亮度。
在一些示例中,背光亮度管理器912基于由(一个或多个)环境光传感器910在第三时间段t3期间收集的环境光数据(例如,对应于用户设备906所在的环境的当前环境光水平)来确定第三背光亮度水平1016。在其他示例中,第三亮度水平1016是基于在用户手动调整背光亮度之前的背光902的亮度水平(例如,第一背光亮度水平1004)的。
如果背光亮度管理器912确定第二环境光水平1006和第三环境光水平1012之间的差异不超过阈值,则背光亮度管理器912生成指令以使得背光902继续以用户定义的第二背光亮度水平1010输出光。在这样的示例中,当背光902被设置为用户定义的第二背光亮度水平1010时,在第二时间段t2和第三时间段t3之间的环境光水平的变化不会影响用户观看显示屏幕904的能力。因此,背光亮度管理器912在用户设备906处于与第三环境光水平1012相关联的环境中时指示背光902维持用户定义的第二背光亮度水平1010。因此,示例背光亮度管理器912在用户手动调整之后选择性地调整背光902的亮度,以方便在用户设备906所在的(一个或多个)环境的光水平变化之后观看显示屏幕904。
图11是图9的背光亮度管理器912的示例实现方式的框图。如上所述,示例背光亮度管理器912被构造成管理由与用户设备(例如,图9的用户设备906)的显示屏幕(例如,图9的显示屏幕904)相关联的背光(例如,图9的背光902)输出的光的亮度。在图11的示例中,背光亮度管理器912是由图9的用户设备906的处理器908、另一用户设备的处理器和/或基于云的设备(例如,(一个或多个)服务器、(一个或多个)处理器和/或(一个或多个)虚拟机)中的一个或多个来实现的。
背光亮度管理器912从用户设备906的(一个或多个)环境光传感器910接收环境光数据1100。环境光数据1100指示用户设备906所在的周围环境中的光的强度。(一个或多个)示例环境光传感器910可以在用户设备906的工作期间基本上连续地、周期性地或者非周期性地生成环境光数据1100。
环境光数据1100被存储在数据库1102中。在一些示例中,背光亮度管理器912包括数据库1102。在其他示例中,数据库1102位于背光亮度管理器912外部,在如图11中所示的背光亮度管理器912可访问的位置中。
图11的示例背光亮度管理器912包括环境光分析器1104。环境光分析器1104分析环境光数据1100,以识别用户设备906所在的环境中的光水平。环境光分析器1104生成指令,这些指令基于环境光数据1100和一个或多个背光亮度规则1106来限定背光902的亮度。在图11的示例中,(一个或多个)背光亮度规则1106被存储在数据库1102中。(一个或多个)背光亮度规则1106基于(一个或多个)环境光水平、屏幕类型、显示屏幕观看角度等来限定背光902的亮度设置。可以经由(一个或多个)用户输入提供(一个或多个)背光亮度规则1106。图11的环境光分析器1104经由一个或多个有线或无线连接将指令传送到背光902。
如上所述,在一些示例中,用户设备906的用户通过在用户设备906处提供一个或多个输入(例如,经由显示屏幕904)来手动调整背光902的亮度。在图11的示例中,指示用户手动调整背光902的亮度的(一个或多个)用户输入1108被存储在数据库1102中。(一个或多个)用户输入1108包括由用户设置的背光902的亮度水平。在一些示例中,当在用户设备906处提供用户输入时由(一个或多个)环境光传感器910检测到的相应环境光也被存储在数据库1102中。
示例背光亮度管理器912包括用户输入检测器1110。用户输入检测器1110基于对(一个或多个)用户输入1108的检测来检测到用户已手动调整了背光902的亮度。响应于(一个或多个)用户输入1108,用户输入检测器1110指示环境光分析器1104识别环境光水平的变化,并且确定是否应当从用户的手动设置自动重调整背光902的亮度。
例如,环境光分析器1104对随时间流逝收集的环境光数据1100进行比较,以检测环境光数据1100的变化。环境光分析器1104对在第一时间(例如,在图10的第二时间段t2)和第二时间(例如,在图10的第三时间段t3)收集的环境光数据1100进行比较。示例环境光分析器1104确定在第一时间段收集的环境光数据1100与在第二时间段收集的环境光数据1100之间的差异是否超过预定义的环境光增量阈值1112。(一个或多个)环境光增量阈值1112指示环境光水平的如下变化:对于这样的变化,相对于用户手动设置的背光902的亮度,背光902的亮度应当被自动调整。(一个或多个)环境光增量阈值1112可以由(一个或多个)用户输入限定并且被存储在数据库1102中。
如果图11的示例环境光分析器1104确定第一时间段和第二时间段之间的环境光水平的变化超过环境光增量阈值1112,则环境光分析器1104生成自动调整背光902的亮度的指令,从而超控导致背光902关闭或被调暗的(一个或多个)用户输入1108。对背光902的亮度的自动调整使得用户能够观看显示屏幕904,而不必对背光902提供进一步的手动调整。在图11的示例中,对背光902的(一个或多个)调整是基于(一个或多个)背光亮度规则1106的。在一些示例中,环境光分析器1104指示背光902基于如环境光数据1100所指示的当前光水平来调整亮度。在一些其他示例中,环境光分析器1104指示背光902基于预定义的用户设置和/或先前的(一个或多个)背光亮度水平(例如,在用户手动调整亮度水平之前的背光亮度水平)来调整亮度。
如果图11的示例环境光分析器1104确定第一时间段和第二时间段之间的环境光水平的变化不超过环境光增量阈值1112,则环境光分析器1104指示背光902继续以用户定义的亮度设置来输出光。在这样的示例中,背光902继续基于手动接收的亮度设置来工作,直到环境光水平的变化超过环境光增量阈值1112为止。在这样的时间,环境光分析器1104确定背光亮度应当被自动调整以便于用户观看显示屏幕904。
虽然在图11中图示了实现图9和图10的背光亮度管理器902的示例方式,但图11中所示的元件、过程和/或设备中的一个或多个可被组合、划分、重布置、省略、消除和/或以任何其他方式来实现。另外,图11的示例数据库1102、示例环境光分析器1104、示例用户输入检测器1110和/或更概括而言示例背光亮度管理器902可由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此,例如,示例数据库1102、示例环境光分析器1104、示例用户输入检测器1110和/或更概括而言示例背光亮度管理器902中的任何一者可由一个或多个模拟或数字电路、逻辑电路、(一个或多个)可编程处理器、(一个或多个)可编程控制器、(一个或多个)图形处理单元((一个或多个)GPU)、(一个或多个)数字信号处理器((一个或多个)DSP)、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD))来实现。当读到本专利的任何装置或系统权利要求覆盖纯软件和/或固件实现方式时,示例数据库1102、示例环境光分析器1104和/或示例用户输入检测器1110中的至少一者在此被明确定义为包括具有该软件和/或固件的非暂态计算机可读存储设备或存储盘,例如存储器、数字多功能盘(DVD)、光盘(CD)、蓝光盘,等等。此外,图11的示例背光亮度管理器902可包括除了图11中所示的那些以外或者取代图11中所示的那些的一个或多个元件、过程和/或设备,和/或可包括多于一个图示的元件、过程和设备中的任何一者或所有。如本文所使用的,短语“与……通信”(包括其变体)涵盖了直接通信和/或通过一个或多个中间组件的间接通信,并且不要求直接物理(例如,有线)通信和/或不断的通信,而是还包括以周期性间隔、排定的间隔、非周期性间隔和/或一次性事件的选择性通信。
表示用于实现示例背光亮度管理器912的示例硬件逻辑、机器可读指令、硬件实现状态机和/或其任何组合的流程图在图12中示出。机器可读指令可以是供计算机处理器执行的可执行程序或者可执行程序的一部分,所述计算机处理器例如是下文联系图15论述的示例处理器平台1500中所示的处理器912。该程序可体现在存储于诸如CD-ROM、软盘、硬盘驱动器、DVD、蓝光盘或与处理器912相关联的存储器之类的非暂态计算机可读存储介质上的软件,但整个程序和/或其一些部分可替换为由除了(一个或多个)处理器912以外的设备执行和/或体现在固件或专用硬件中。另外,虽然是参考图12中所示的流程图来描述示例程序的,但可替换使用实现示例背光亮度管理器912的许多其他方法。例如,方框的执行顺序可被改变,和/或描述的方框中的一些可被改变、消除或组合。额外地或者替代地,任何或所有方框可由被构造为执行相应的工作而不执行软件或固件的一个或多个硬件电路(例如,分立和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等等)来实现。
如上所述,可以利用存储在非暂态计算机和/或机器可读介质上的可执行指令(例如,计算机和/或机器可读指令)来实现图12的示例过程,所述介质例如是硬盘驱动器、闪存、只读存储器、光盘、数字多功能盘、缓存、随机访问存储器和/或其中信息可被存储任何持续时间(例如,存储较长时间段、永久存储、短暂存储、用于临时缓冲和/或用于信息的缓存)的任何其他存储设备或存储盘。如本文所使用的,术语非暂态计算机可读介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘并且排除传播信号和排除传输介质。
图12是当被处理器执行时实现图9、图10和/或图11的示例背光亮度管理器912的示例机器可读指令的流程图。在图12的示例中,背光亮度管理器912在用户已手动调整背光亮度之后响应于环境光水平的变化而生成(一个或多个)指令以控制用户设备906的显示屏幕904的背光902的亮度。图12的示例指令可以由例如用户设备906、另一用户设备和/或基于云的设备的一个或多个处理器来执行。图12的指令可以在(一个或多个)环境光传感器910生成环境光数据和/或用户与用户设备906交互时被基本实时地执行。
示例背光亮度管理器912的环境光分析器1104访问由用户设备906的(一个或多个)环境光传感器910生成的环境光数据1100(方框1200)。环境光分析器1104基于环境光数据1100和(一个或多个)背光亮度规则1106来设置用户设备906的背光902的亮度(方框1202)。
在图12的示例中,如果用户输入检测器1110检测到用于调整背光902的亮度的用户输入1108(方框1204),则环境光分析器1104基于该用户输入生成用于调整背光902的亮度的指令(方框1206)。
在图12的示例中,环境光分析器1104在接收到(一个或多个)用户输入1108之后访问由(一个或多个)环境光传感器910生成的环境光数据1100(方框1208)。环境光分析器1104对随着时间流逝的环境光数据1100进行比较(例如,在图10的第二时间段t2和第三时间段t3之间)(方框1210)。在图12的示例中,如果环境光分析器1104确定环境光数据1100指示用户设备906所在的环境的环境光水平的变化(方框1212),则环境光分析器1104确定该变化是否超过环境光增量阈值1112(方框1214)。
如果环境光数据的变化超过环境光增量阈值1112,则环境光分析器1104生成并且向背光902传送指令,以自动调整背光902,从而使得用户能够观看显示屏幕904(方框1216)。在图12的示例中,环境光分析器1104可以基于(一个或多个)环境光传感器910最近收集的环境光数据、先前的背光亮度水平(例如,在接收到用户输入之前的时间的背光亮度水平)和/或预定义的用户设置来调整背光902的亮度。在这样的示例中,环境光分析器1104继续控制背光902的亮度,直到接收到包括对亮度水平的手动调整的(一个或多个)额外用户输入1108为止(方框1204)。
如果环境光数据的变化不超过环境光增量阈值1112,则环境光分析器1104生成并且向背光902传送指令以继续以用户经由(一个或多个)用户输入1108限定的亮度水平来输出光(方框1218)。环境光分析器1104继续分析环境光数据1100,直到没有接收到进一步的数据为止(方框1220)。
尽管是在管理显示面板的背光的亮度的情境中论述图9-图12的示例的,但也可以在其他应用中利用本文公开的教导。例如,可以分析由(一个或多个)音频传感器(例如,麦克风)收集的音频数据,以确定当经由音乐播放器设备收听例如音频的用户在具有不同环境噪声的环境之间移动时对音频的音量的调整。在这样的示例中,在用户在处于安静环境中时手动减小音量之后,当用户从安静的环境移动到嘈杂的环境时,可以自动调整(例如,提高)音频音量。
图13是被构造以执行图7的指令以实现图1和/或图2的示例训练管理器131的示例处理器平台1300的框图。处理器平台1300可以例如是服务器、个人计算机、工作站、自学习机器(例如,神经网络)、移动设备(例如,蜂窝电话、智能电话、诸如iPadTM之类的平板设备)、个人数字助理(PDA)、互联网应用设备、耳麦或其他可穿戴设备、或者任何其他类型的计算设备。
图示示例的处理器平台1300包括处理器131。图示示例的处理器131是硬件。例如,处理器131可由来自任何期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或者控制器来实现。硬件处理器可以是基于半导体(例如,基于硅)的设备。在此示例中,处理器实现示例训练器200和示例机器学习引擎202。
图示示例的处理器131包括本地存储器1313(例如,缓存)。图示示例的处理器131经由总线1318与包括易失性存储器1314和非易失性存储器1316的主存储器进行通信。易失性存储器1314可以由同步动态随机访问存储器(SDRAM)、动态随机访问存储器(DRAM)、
Figure BDA0003233756290000411
动态随机访问存储器
Figure BDA0003233756290000412
和/或任何其他类型的随机访问存储器设备来实现。非易失性存储器1316可以由闪存和/或任何其他期望类型的存储器设备来实现。对主存储器1314、1316的访问受存储器控制器的控制。
图示示例的处理器平台1300还包括接口电路1320。接口电路1320可以由任何类型的接口标准实现,例如以太网接口、通用串行总线(USB)、
Figure BDA0003233756290000413
接口、近场通信(NFC)接口和/或PCI快速接口。
在图示示例中,一个或多个输入设备1322连接到接口电路1320。(一个或多个)输入设备1322允许用户向处理器131中输入数据和/或命令。(一个或多个)输入设备可以由例如音频传感器、麦克风、相机(静态或视频)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备1324也连接到图示示例的接口电路1320。输出设备1324可以例如由显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(in-place switching,IPS)显示器、触摸屏等等)、触觉输出设备、打印机和/或扬声器来实现。因此,图示示例的接口电路1320通常包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
图示示例的接口电路1320还包括通信设备,例如发送器、接收器、收发器、调制解调器、住宅网关、无线接入点和/或网络接口,来促进经由网络1326与外部机器(例如,任何种类的计算设备)的数据交换。通信可以经由例如以太网连接、数字订户线(DSL)连接、电话线连接、同轴线缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统等等。
图示示例的处理器平台1300还包括用于存储软件和/或数据的一个或多个大容量存储设备1328。这种大容量存储设备1328的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、独立盘冗余阵列(redundant array of independent disks,RAID)系统以及数字多功能盘(DVD)驱动器。
图7的机器可执行指令1332可以被存储在大容量存储设备1328中、易失性存储器1314中、非易失性存储器1316中和/或诸如CD或DVD之类的可移除非暂态计算机可读存储介质上。
图14是被构造以执行图8A和图8B的指令以实现图1和/或图2的示例显示面板控制器130的示例处理器平台1400的框图。处理器平台1400可例如是服务器、个人计算机、工作站、自学习机器(例如,神经网络)、移动设备(例如,蜂窝电话、智能电话、诸如iPadTM之类的平板设备)、个人数字助理(PDA)、互联网应用设备、耳麦或其他可穿戴设备、或者任何其他类型的计算设备。
图示示例的处理器平台1400包括处理器130。图示示例的处理器130是硬件。例如,处理器130可由来自任何期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或者控制器来实现。硬件处理器可以是基于半导体(例如,基于硅)的设备。在此示例中,处理器实现示例用户存在检测器212、示例注视检测器216、示例面板电子器件管理器218、示例背光管理器220、示例环境光分析器226、示例反馈分析器227、示例用户交互检测器229以及示例应用使用检测器230。
图示示例的处理器130包括本地存储器1413(例如,缓存)。图示示例的处理器130经由总线1418与包括易失性存储器1414和非易失性存储器1416的主存储器进行通信。易失性存储器1414可由同步动态随机访问存储器(SDRAM)、动态随机访问存储器(DRAM)、
Figure BDA0003233756290000431
动态随机访问存储器
Figure BDA0003233756290000432
和/或任何其他类型的随机访问存储器设备来实现。非易失性存储器1416可以由闪存和/或任何其他期望类型的存储器设备来实现。对主存储器1414、1416的访问受存储器控制器的控制。
图示示例的处理器平台1400还包括接口电路1420。接口电路1420可以由任何类型的接口标准实现,例如以太网接口、通用串行总线(USB)、
Figure BDA0003233756290000433
接口、近场通信(NFC)接口和/或PCI快速接口。
在图示示例中,一个或多个输入设备1422连接到接口电路1420。(一个或多个)输入设备1422允许用户向处理器130中输入数据和/或命令。(一个或多个)输入设备可以由例如音频传感器、麦克风、相机(静态或视频)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备1424也连接到图示示例的接口电路1420。输出设备1424可以例如由显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(IPS)显示器、触摸屏,等等)、触觉输出设备、打印机和/或扬声器来实现。图示示例的接口电路1420从而通常包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
图示示例的接口电路1420还包括通信设备,例如发送器、接收器、收发器、调制解调器、住宅网关、无线接入点和/或网络接口,来促进经由网络1426与外部机器(例如,任何种类的计算设备)的数据交换。通信可以经由例如以太网连接、数字订户线(DSL)连接、电话线连接、同轴线缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统等等。
图示示例的处理器平台1400还包括用于存储软件和/或数据的一个或多个大容量存储设备1428。这种大容量存储设备1428的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、独立盘冗余阵列(RAID)系统以及数字多功能盘(DVD)驱动器。
图8A和图8B的机器可执行指令1432可以被存储在大容量存储设备1428中、易失性存储器1414中、非易失性存储器1416中和/或诸如CD或DVD之类的可移除非暂态计算机可读存储介质上。
图15是被构造以执行图12的指令以实现图9、图10和/或图11的示例背光亮度管理器912的示例处理器平台1500的框图。处理器平台1500可例如是服务器、个人计算机、工作站、自学习机器(例如,神经网络)、移动设备(例如,蜂窝电话、智能电话、诸如iPadTM之类的平板设备)、个人数字助理(PDA)、互联网应用设备、耳麦或其他可穿戴设备、或者任何其他类型的计算设备。
图示示例的处理器平台1500包括处理器912。图示示例的处理器912是硬件。例如,处理器912可以由来自任何期望的家族或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或者控制器来实现。硬件处理器可以是基于半导体(例如,基于硅)的设备。在此示例中,处理器实现示例环境光分析器1104和示例用户输入检测器1110。
图示示例的处理器912包括本地存储器1513(例如,缓存)。图示示例的处理器912经由总线1518与包括易失性存储器1514和非易失性存储器1516的主存储器进行通信。易失性存储器1514可以由同步动态随机访问存储器(SDRAM)、动态随机访问存储器(DRAM)、
Figure BDA0003233756290000441
动态随机访问存储器
Figure BDA0003233756290000442
和/或任何其他类型的随机访问存储器设备来实现。非易失性存储器1516可以由闪存和/或任何其他期望类型的存储器设备来实现。对主存储器1514、1516的访问受存储器控制器的控制。
图示示例的处理器平台1500还包括接口电路1520。接口电路1520可以由任何类型的接口标准来实现,例如以太网接口、通用串行总线(USB)、
Figure BDA0003233756290000443
接口、近场通信(NFC)接口和/或PCI快速接口。
在图示示例中,一个或多个输入设备1522连接到接口电路1520。(一个或多个)输入设备1522允许用户向处理器912中输入数据和/或命令。(一个或多个)输入设备可以由例如音频传感器、麦克风、相机(静态或视频)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别系统来实现。
一个或多个输出设备1524也连接到图示示例的接口电路1520。输出设备1524可以例如由显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(IPS)显示器、触摸屏,等等)、触觉输出设备、打印机和/或扬声器来实现。图示示例的接口电路1520从而通常包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
图示示例的接口电路1520还包括通信设备,例如发送器、接收器、收发器、调制解调器、住宅网关、无线接入点和/或网络接口,来促进经由网络1526与外部机器(例如,任何种类的计算设备)的数据交换。通信可以经由例如以太网连接、数字订户线(DSL)连接、电话线连接、同轴线缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统等等。
图示示例的处理器平台1500还包括用于存储软件和/或数据的一个或多个大容量存储设备1528。这种大容量存储设备1528的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、独立盘冗余阵列(RAID)系统以及数字多功能盘(DVD)驱动器。
图12的机器可执行指令1532可以被存储在大容量存储设备1528中、易失性存储器1514中、非易失性存储器1516中和/或诸如CD或DVD之类的可移除非暂态计算机可读存储介质上。
根据上述内容,将会明白,已经公开了示例方法、装置和制品,它们提供了对显示设备的智能控制,以促进用户轻松地观看显示屏幕和/或基于用户与设备的交互来管理功率消耗。本文公开的一些示例基于如利用对图像数据的面部识别分析所检测到的用户相对于显示屏幕的存在和关注度来控制显示面板的面板电子器件和/或背光的工作。本文公开的示例基于对设备的(一个或多个)图像传感器的视场内的用户的检测和对用户相对于设备的注视的检测来动态地调整显示面板,以便在设备处于工作状态中并且用户选择性地与设备交互时最大限度地节省电力。本文公开的一些示例基于环境光数据确定显示器的背光的亮度,并且考虑到用户对背光亮度的手动调整来自动调整背光亮度。这样的示例提供了在环境光水平变化时观看显示屏幕的便利性,而不要求用户的进一步手动调整。
一些公开的方法、装置和制品通过基于用户相对于设备的存在和关注度动态地控制显示面板的工作来提高计算设备的效率。与在关闭显示面板之前依赖于预定义的不活动时段的已知示例相比,本文公开的一些示例通过更准确地检测用户与设备的交互或不活动时段而改善了电力节约工作。在执行对用户与显示设备的交互的分析时,本文公开的示例通过例如收集低分辨率图像数据、在已知用户与设备交互时避免分析图像数据等等来节约电力。因此,本文公开的示例提供了对设备的改善的功率管理。
一些其他公开的方法、装置和制品通过分析环境光水平并且确定是否应当基于自动亮度设置调整背光的亮度或者是否应当将亮度维持在先前的手动用户定义的设置上,来提高计算设备的效率。本文公开的示例不是要求用户在关闭自动亮度设置之后重新激活该设置,而是基于环境光数据来自动确定亮度设置。公开的方法、装置和制品因此针对的是计算机的功能的一项或多项改进。
示例1包括一种用于控制电子设备的显示器的装置。该装置包括用户存在检测器来基于由所述电子设备的图像传感器生成的图像数据确定用户相对于所述设备的存在,注视检测器,来基于所述图像数据确定所述用户的注视相对于所述图像传感器的方向,以及背光管理器,来基于所述用户的存在和所述用户的注视的方向来选择性地调整显示亮度。
示例2包括如示例1中定义的装置,还包括面板电子器件管理器来基于所述用户的存在来选择性地控制所述显示器的面板电子器件的工作。
示例3包括如示例1中定义的装置,其中所述用户存在检测器基于在所述图像数据中对脸部的检测来确定所述用户的存在。
示例4包括如示例1中定义的装置,其中所述注视检测器基于在所述图像数据中对所述用户的脸部的一个或多个特征的检测来确定所述用户的注视的方向。
示例5包括如示例1或2中定义的装置,还包括训练器来基于所述图像数据生成脸部检测模型,所述用户存在检测器应用所述脸部检测模型来检测所述用户的存在。
示例6包括如示例1中定义的装置,其中所述图像数据是在第一时间收集的第一图像数据,所述注视检测器分析在发生于所述第一时间之后的第二时间收集的第二图像数据来确定在所述第二时间所述用户的注视的方向并且确定在所述第一时间和所述第二时间之间所述用户的注视的方向的变化。所述背光管理器基于所述用户的注视的方向的变化来调整所述显示亮度。
示例7包括如示例6中定义的装置,其中所述背光管理器基于所述用户的注视的方向的变化而对所述显示亮度进行增大或减小中的一者。
示例8包括如示例7中定义的装置,其中所述背光管理器增大所述显示亮度的速率是基于在所述第一时间所述用户的注视的方向的。
示例9包括如示例1或2中定义的装置,还包括用户交互检测器来检测所述设备处的用户输入。如果所述用户交互检测器检测到所述用户输入,则所述用户存在检测器避免分析所述图像数据。
示例10包括如示例1或2中定义的装置,其中所述背光管理器还基于由所述设备的环境光传感器生成的环境光数据来调整所述显示亮度。
示例11包括至少一个包括指令的非暂态计算机可读存储介质,所述指令当被执行时,使得一种机器至少基于由用户设备的图像传感器生成的图像数据来确定用户相对于所述用户设备的注视的方向并且基于所述用户的注视的方向来控制所述用户设备的显示面板的工作。
示例12包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器通过调整所述显示面板的背光的亮度来控制所述显示面板的工作。
示例13包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器基于所述图像数据来确定所述用户相对于所述用户设备的存在或不存在并且基于所述用户的存在或不存在来调整面板电子器件的功率状态。
示例14包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器通过在所述图像数据中识别所述用户的一个或多个面部特征来确定所述用户的注视的方向。
示例15包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述图像数据是在第一时间生成的第一图像数据,并且其中所述指令当被执行时,还使得所述机器基于所述第一图像数据和由所述图像传感器在发生于所述第一时间之后的第二时间生成的第二图像数据来检测所述用户的注视的方向的变化并且基于所述用户的注视的方向的变化来调整所述显示面板的背光的亮度。
示例16包括如示例15中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器基于所述用户的注视的方向的变化来进行以下之一:增大所述背光的亮度,减小所述背光的亮度,或者关闭所述背光。
示例17包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器检测由所述用户设备接收到的用户输入并且基于检测到所述用户输入而避免确定所述用户的注视的方向。
示例18包括如示例11中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时,还使得所述机器应用机器学习模型来确定所述用户的注视的方向。
示例19包括一种电子设备,该电子设备具有显示屏幕。所述电子设备包括用于生成图像数据的装置,用于照亮所述显示屏幕的装置,以及用于调整所述用于照亮的装置的亮度的装置。所述用于调整的装置基于所述图像数据来确定用户相对于所述用于生成图像数据的装置的注视的方向并且基于所述用户的注视的方向来对所述用于照亮的装置的亮度进行增大或减小之一。
示例20包括如示例19中定义的电子设备,其中所述用于生成图像数据的装置包括相机。
示例21包括如示例19中定义的电子设备,其中所述用于调整的装置基于在所述图像数据中对至少一个面部特征的检测来确定所述用户的注视的方向。
示例22包括如示例19中定义的电子设备,其中所述用于调整的装置基于所述用户的注视的方向或者所述用户的注视的方向的变化来随着时间的流逝对所述亮度进行增大或减小之一。
示例23包括如示例19中定义的电子设备,还包括用于生成环境光数据的装置。所述用于调整的装置还基于所述环境光数据来调整所述用于照亮的装置的亮度。
示例24包括一种电子设备,该电子设备具有显示面板。所述电子设备包括图像传感器来基于所述图像传感器的视场生成图像数据,并且包括显示面板控制器来基于在所述图像数据中用户的存在来选择性地控制所述显示面板的背光和面板电子器件中的至少一者的功率状态。
示例25包括如示例24中定义的电子设备,其中所述图像传感器包括相机。
示例26包括如示例24中定义的电子设备,其中所述显示面板控制器还基于用户在所述视场中的位置来调整由所述背光输出的光的亮度。
示例27包括如示例24中定义的电子设备,还包括环境光传感器来生成与所述电子设备所在的环境相关联的环境光数据。所述显示面板控制器还基于所述环境光数据来控制所述背光。
示例28包括如示例24中定义的电子设备,其中所述显示面板控制器应用脸部检测模型来确定所述图像数据中所述用户的存在。
示例29包括如示例24中定义的电子设备,其中所述视场是第一视场并且所述显示面板控制器还确定所述用户在第二视场中的位置,所述第二视场是基于所述显示面板的显示屏幕的观看角度的。
示例30包括一种电子设备,该电子设备包括环境光传感器来生成指示包括所述电子设备的环境中的光水平的环境光数据,并且包括背光来照亮显示屏幕。所述背光以第一亮度水平发出光,所述第一亮度水平是基于用户输入来限定的。所述电子设备包括背光亮度管理器来基于所述环境光数据指示所述背光进行以下之一:维持所述第一亮度水平,或者以第二亮度水平发出光,所述第二亮度水平不同于所述第一亮度水平。
示例31包括如示例30所述的电子设备,其中所述环境光数据包括在第一时间生成的第一环境光数据和在发生于所述第一时间之后的第二时间生成的第二环境光数据,背光亮度管理器执行对所述第一环境光数据和所述第二环境光数据的比较并且基于所述比较来指示所述背光。
示例32包括如示例31所述的电子设备,其中所述背光亮度管理器通过确定所述第一环境光数据和所述第二环境光数据之间的差异来执行所述比较并且执行所述第一环境光数据和所述第二环境光数据之间的差异与阈值的比较。所述背光亮度管理器在所述差异超过所述阈值的情况下指示所述背光以所述第二亮度水平发出光。
示例33包括如示例30所述的电子设备,其中所述第二亮度水平与由所述背光发出的光的亮度相对于所述第一亮度水平的增大相关联。
示例34包括至少一个包括指令的非暂态计算机可读存储介质,所述指令当被执行时,使得一种机器至少执行由环境光传感器在第一时间生成的第一环境光数据与由所述环境光传感器在发生于所述第一时间之后的第二时间生成的第二环境光数据的比较并且基于所述比较来指示背光以第一亮度水平或第二亮度水平发出光。所述第二亮度水平不同于所述第一亮度水平。所述第一亮度水平是基于用户输入来限定的。
示例35包括如示例34中定义的至少一个非暂态计算机可读存储介质,其中所述指令当被执行时还使得所述机器确定所述第一环境光数据和所述第二环境光数据之间的差异,执行所述差异与阈值的比较并且在所述差异超过所述阈值的情况下指示所述背光以所述第二亮度水平发出光。
示例36包括如示例35中定义的至少一个非暂态计算机可读存储介质,其中所述指令还使得所述机器在所述差异不超过所述阈值的情况下指示所述背光以所述第一亮度水平发出光。
示例37包括如示例34中定义的至少一个非暂态计算机可读存储介质,其中所述第二亮度水平与由所述背光发出的光的亮度相对于所述第一亮度水平的增大相关联。
“包括”和“包含”(以及其所有形式和时态)在本文中用作开端式术语。因此,每当权利要求使用任何形式的“包括”或“包含”(例如,包括、包含、具有等等)作为序言或者在任何种类的权利要求记载中使用时,要理解,额外的元素、术语等等可存在,而不落在相应权利要求或记载的范围之外。如本文所使用的,当短语“至少”在例如权利要求的序言中被用作过渡术语时,它是开端的,与术语“包括”和“包含”是开端的方式一样。术语“和/或”当例如被以比如A、B和/或C这样的形式使用时指的是A、B、C的任何组合或子集,例如(1)A单独,(2)B单独,(3)C单独,(4)A与B,(5)A与C,(6)B与C,以及(7)A与B以及与C。就本文在描述结构、组件、项目、对象和/或事物的上下文中使用的而言,短语“A和B中的至少一者”打算指包括以下各项中的任何一者的实现方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。类似地,就本文在描述结构、组件、项目、对象和/或事物的上下文中使用的而言,短语“A或B中的至少一者”打算指包括以下各项中的任何一者的实现方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。就本文在描述过程、指令、动作、活动和/或步骤的执行或运行的上下文中使用的而言,短语“A和B中的至少一者”打算指包括以下各项中的任何一者的实现方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。类似地,就本文在描述过程、指令、动作、活动和/或步骤的执行或运行的上下文中使用的而言,短语“A或B中的至少一者”打算指包括以下各项中的任何一者的实现方式:(1)至少一个A,(2)至少一个B,以及(3)至少一个A和至少一个B。
虽然本文公开了某些示例方法、装置和制品,但本专利的覆盖范围不限于此。相反,本专利覆盖了公平地落在本专利的权利要求的范围内的所有方法、装置和制品。

Claims (25)

1.一种用于控制电子设备的显示器的装置,该装置包括:
用户存在检测器,以基于由所述电子设备的图像传感器生成的图像数据确定用户相对于所述设备的存在;
注视检测器,以基于所述图像数据确定所述用户的注视相对于所述图像传感器的方向;以及
背光管理器,以基于所述用户的存在和所述用户的注视的方向来选择性地调整显示亮度。
2.根据权利要求1所述的装置,还包括面板电子器件管理器,以基于所述用户的存在来选择性地控制所述显示器的面板电子器件的工作。
3.根据权利要求1所述的装置,其中,所述用户存在检测器基于在所述图像数据中对脸部的检测来确定所述用户的存在。
4.根据权利要求1所述的装置,其中,所述注视检测器基于在所述图像数据中对所述用户的脸部的一个或多个特征的检测来确定所述用户的注视的方向。
5.根据权利要求1所述的装置,其中,所述图像数据是在第一时间收集的第一图像数据,所述注视检测器用于:
分析在发生于所述第一时间之后的第二时间收集的第二图像数据,以确定在所述第二时间所述用户的注视的方向;并且
确定在所述第一时间和所述第二时间之间所述用户的注视的方向的变化,所述背光管理器基于所述用户的注视的方向的变化来调整所述显示亮度。
6.根据权利要求5所述的装置,其中,所述背光管理器基于所述用户的注视的方向的变化来对所述显示亮度进行增大或减小中的一种。
7.根据权利要求6所述的装置,其中,所述背光管理器增大所述显示亮度的速率是基于在所述第一时间所述用户的注视的方向的。
8.根据权利要求1或2所述的装置,还包括用户交互检测器,以检测所述设备处的用户输入,如果所述用户交互检测器检测到所述用户输入,则所述用户存在检测器避免分析所述图像数据。
9.根据权利要求1或2所述的装置,其中,所述背光管理器还基于由所述设备的环境光传感器生成的环境光数据来调整所述显示亮度。
10.至少一种非暂态计算机可读存储介质,包括指令,所述指令当被执行时,使得机器至少:
基于由用户设备的图像传感器生成的图像数据来确定用户相对于所述用户设备的注视的方向;并且
基于所述用户的注视的方向来控制所述用户设备的显示面板的工作。
11.根据权利要求10所述的至少一种非暂态计算机可读存储介质,其中,所述指令当被执行时,还使得所述机器基于所述图像数据来确定所述用户相对于所述用户设备的存在或不存在并且基于所述用户的存在或不存在来调整面板电子器件的功率状态。
12.根据权利要求10所述的至少一种非暂态计算机可读存储介质,其中,所述图像数据是在第一时间生成的第一图像数据,并且其中,所述指令当被执行时,还使得所述机器:
基于所述第一图像数据和在发生于所述第一时间之后的第二时间由所述图像传感器生成的第二图像数据来检测所述用户的注视的方向的变化,并且
基于所述用户的注视的方向的变化来调整所述显示面板的背光的亮度。
13.根据权利要求12所述的至少一种非暂态计算机可读存储介质,其中,所述指令当被执行时,还使得所述机器基于所述用户的注视的方向的变化来执行以下操作之一:增大所述背光的亮度,减小所述背光的亮度,或者关闭所述背光。
14.根据权利要求10所述的至少一种非暂态计算机可读存储介质,其中,所述指令当被执行时,还使得所述机器:
检测由所述用户设备接收到的用户输入;并且
基于所检测到所述用户输入而避免确定所述用户的注视的方向。
15.一种具有显示屏幕的电子设备,该电子设备包括:
用于生成图像数据的生成装置;
用于照亮所述显示屏幕的照亮装置;以及
用于调整所述照亮装置的亮度的调整装置,所述调整装置用于:
基于所述图像数据来确定用户相对于所述用于生成图像数据的生成装置的注视的方向;并且
基于所述用户的注视的方向来对所述照亮装置的亮度进行增大或减小中的一种。
16.根据权利要求15所述的电子设备,其中,所述调整装置基于在所述图像数据中对至少一个面部特征的检测来确定所述用户的注视的方向。
17.根据权利要求15所述的电子设备,其中,所述调整装置基于所述用户的注视的方向或者所述用户的注视的方向的变化来随着时间的流逝对所述亮度进行增大或减小中的一种。
18.根据权利要求15所述的电子设备,还包括用于生成环境光数据的装置,所述调整装置还基于所述环境光数据来调整所述照亮装置的亮度。
19.一种具有显示面板的电子设备,该电子设备包括:
图像传感器,用以基于所述图像传感器的视场来生成图像数据;以及
显示面板控制器,用以基于在所述图像数据中用户的存在来选择性地控制所述显示面板的背光和面板电子器件中的至少一者的功率状态。
20.根据权利要求19所述的电子设备,其中,所述显示面板控制器还基于所述用户在所述视场中的位置来调整由所述背光输出的光的亮度。
21.根据权利要求19所述的电子设备,还包括环境光传感器以生成与所述电子设备所在的环境相关联的环境光数据,所述显示面板控制器还基于所述环境光数据来控制所述背光。
22.根据权利要求19所述的电子设备,其中,所述视场是第一视场并且所述显示面板控制器还确定所述用户在第二视场中的位置,所述第二视场是基于所述显示面板的显示屏幕的观看角度的。
23.一种电子设备,包括:
环境光传感器,用以生成指示包括所述电子设备的环境中的光水平的环境光数据;
背光,用以照亮显示屏幕,所述背光以第一亮度水平发出光,所述第一亮度水平是基于用户输入来限定的;以及
背光亮度管理器,用以基于所述环境光数据指示所述背光执行以下操作之一:维持所述第一亮度水平,或者以第二亮度水平发出光,所述第二亮度水平不同于所述第一亮度水平。
24.根据权利要求23所述的电子设备,其中,所述环境光数据包括在第一时间生成的第一环境光数据和在发生于所述第一时间之后的第二时间生成的第二环境光数据,背光亮度管理器执行对所述第一环境光数据和所述第二环境光数据的比较并且基于所述比较来指示所述背光。
25.根据权利要求24所述的电子设备,其中,所述背光亮度管理器通过以下操作来执行所述比较:
确定所述第一环境光数据和所述第二环境光数据之间的差异;并且
执行所述第一环境光数据和所述第二环境光数据之间的差异与阈值的比较,所述背光亮度管理器在所述差异超过所述阈值的情况下指示所述背光以所述第二亮度水平发出光。
CN201980093246.9A 2019-03-27 2019-03-27 智能显示面板装置及相关方法 Pending CN113490904A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/079790 WO2020191643A1 (en) 2019-03-27 2019-03-27 Smart display panel apparatus and related methods

Publications (1)

Publication Number Publication Date
CN113490904A true CN113490904A (zh) 2021-10-08

Family

ID=72610769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093246.9A Pending CN113490904A (zh) 2019-03-27 2019-03-27 智能显示面板装置及相关方法

Country Status (8)

Country Link
US (1) US20220147142A1 (zh)
EP (1) EP3948492A4 (zh)
JP (1) JP2022534338A (zh)
KR (1) KR20210139233A (zh)
CN (1) CN113490904A (zh)
BR (1) BR112021016868A2 (zh)
DE (1) DE112019007085T5 (zh)
WO (1) WO2020191643A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US20210109585A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve user experience on computing devices
US11823634B2 (en) * 2021-06-09 2023-11-21 Snap Inc. Adaptive brightness for augmented reality display
KR20230001715A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 시선 방향 인식 시에 에러를 보정하는 전자 장치 및 전자 장치의 동작 방법
WO2023043446A1 (en) * 2021-09-16 2023-03-23 Hewlett-Packard Development Company, L.P. Display panel operation based on eye gaze patterns
US11551634B1 (en) * 2022-01-17 2023-01-10 Lenovo (United States) Inc. Life extension for pixels associated with a camera under display
US20230359468A1 (en) * 2022-05-05 2023-11-09 Microsoft Technology Licensing, Llc User engagement surfaced through an application programming interface (api)
US11783789B1 (en) * 2022-05-13 2023-10-10 Meta Platforms Technologies, Llc Dynamic brightness compensation in display assembly
CN114999405A (zh) * 2022-05-25 2022-09-02 京东方科技集团股份有限公司 驱动控制装置,驱动控制方法及显示装置
US12001261B2 (en) * 2022-06-27 2024-06-04 Qualcomm Incorporated Power optimization for smartwatch
JP7488383B1 (ja) 2023-02-15 2024-05-21 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835083A (en) * 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
JP3499798B2 (ja) * 2000-03-13 2004-02-23 シャープ株式会社 液晶情報表示装置
JP2002071833A (ja) * 2000-08-31 2002-03-12 Ricoh Co Ltd 人体検知センサ装置、画像形成装置、人体検知センサ駆動方法及び記憶媒体
JP2005221907A (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 表示装置
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
CN101656060A (zh) * 2008-08-18 2010-02-24 鸿富锦精密工业(深圳)有限公司 屏幕显示节能系统及方法
CN101676982B (zh) * 2008-09-16 2012-08-22 联想(北京)有限公司 一种节能显示器和电子设备
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
EP2515206B1 (en) * 2009-12-14 2019-08-14 Panasonic Intellectual Property Corporation of America User interface apparatus and input method
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
EP2836889A4 (en) * 2012-04-12 2015-11-18 Intel Corp SELECTIVE BACKLIGHT OF A SCREEN BASED ON OCULOMETRY
JP6056323B2 (ja) * 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
KR102353218B1 (ko) * 2015-07-15 2022-01-20 삼성디스플레이 주식회사 표시 장치 및 그것의 구동 방법
US20180136719A1 (en) * 2016-11-16 2018-05-17 Wuhan China Star Optoelectronics Technology Co., Ltd. Image brightness adjusting method and image brightness adjusting device
US10324525B2 (en) * 2016-12-31 2019-06-18 Intel Corporation Context aware selective backlighting techniques
CN110546592A (zh) * 2017-07-25 2019-12-06 惠普发展公司,有限责任合伙企业 基于感测到的距离来确定用户存在
CN108520728B (zh) * 2018-04-20 2020-08-04 京东方科技集团股份有限公司 背光调节方法、装置、计算设备、显示设备和存储介质

Also Published As

Publication number Publication date
BR112021016868A2 (pt) 2021-11-03
DE112019007085T5 (de) 2022-01-20
WO2020191643A1 (en) 2020-10-01
US20220147142A1 (en) 2022-05-12
EP3948492A1 (en) 2022-02-09
KR20210139233A (ko) 2021-11-22
EP3948492A4 (en) 2022-11-09
JP2022534338A (ja) 2022-07-29

Similar Documents

Publication Publication Date Title
CN113490904A (zh) 智能显示面板装置及相关方法
US11662797B2 (en) Techniques for adjusting computing device sleep states
US20210327394A1 (en) User-presence based adjustment of display characteristics
US8687840B2 (en) Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US11809535B2 (en) Systems and methods for multi-modal user device authentication
US11733761B2 (en) Methods and apparatus to manage power and performance of computing devices based on user presence
US20060192775A1 (en) Using detected visual cues to change computer system operating states
US9058128B1 (en) Power management for electronic devices
US9094539B1 (en) Dynamic device adjustments based on determined user sleep state
JP5658791B2 (ja) バックライトおよび環境光センサ・システム
EP2600220B1 (en) Method for operating user functions based on eye tracking and mobile device adapted thereto
US9921631B2 (en) Methods and apparatus for saving power
US20100226487A1 (en) Method & apparatus for controlling the state of a communication system
KR20150049045A (ko) 휴대단말에서 화면 밝기를 제어하는 방법 및 장치
US20210026437A1 (en) Techniques for adjusting computing device sleep states
CN112291899A (zh) 一种智能开关控制系统及方法
KR101929217B1 (ko) 모니터의 소비전력 절감방법
US20230305694A1 (en) Computer Platform with Shared User Experience Interface
WO2023191855A1 (en) Computer platform with shared user experience interface
Lider et al. SMART WATCH POWER SAVING PREDICTION BASED ON CONTEXTUAL SIGNALS
CN116069151A (zh) 一种设备控制方法及装置
CN118251707A (zh) 用于客户端设备的人类存在传感器
Cheng An Electro-Oculography Circuit for Detecting Eye Movements for Low-PowerDisplays
KONDO et al. A Preliminary Study on Energy Saving of Personal ICT Equipment by User Recognition
GB2579999A (en) Methods and apparatus for saving power

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination