CN112783307A - 用于基于用户存在来管理计算设备的功率和性能的方法和装置 - Google Patents

用于基于用户存在来管理计算设备的功率和性能的方法和装置 Download PDF

Info

Publication number
CN112783307A
CN112783307A CN202011015222.2A CN202011015222A CN112783307A CN 112783307 A CN112783307 A CN 112783307A CN 202011015222 A CN202011015222 A CN 202011015222A CN 112783307 A CN112783307 A CN 112783307A
Authority
CN
China
Prior art keywords
user
computing device
mode
performance
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011015222.2A
Other languages
English (en)
Inventor
V·辛哈
P·迪芬伯格
K·弗莱明
R·R·托莱达诺
D·S·奇鲁巴卡兰
W·布朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN112783307A publication Critical patent/CN112783307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/263—Arrangements for using multiple switchable power supplies, e.g. battery and AC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

公开了基于用户存在来管理计算设备的功率和性能的方法和装置。装置包括：参与检测器，用于基于由图像传感器生成的图像数据或正在设备上运行的应用中的至少一者来确定用户对该设备的参与；以及操作模式选择器，该操作模式选择器用于基于用户的参与水平来为设备选择多个操作模式中的一个操作模式，该多个操作模式包括(1)与设备正在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与设备正在第二性能水平和第二功率水平下操作相关联的第二操作模式，第一性能水平高于第二性能水平，第一功率水平高于第二功率水平。

Description

用于基于用户存在来管理计算设备的功率和性能的方法和 装置
相关申请
本专利源于要求于2019年11月11日提交的美国临时专利申请第62/933,944号的优先权的非临时专利申请，并且该申请通过引用以其整体结合于此。
技术领域
本公开总体上涉及计算设备，并且更具体地涉及用于基于用户存在来管理计算设备的功率和性能的方法和装置。
背景技术
在计算设备中实现功率效率与实现性能效率之间通常存在折衷。也就是说，降低计算设备的功耗可以节省功率(例如，从而延长电池寿命)，但是可能以设备的性能和/或响应性为代价，由此不利地影响用户体验。另一方面，通常可以通过增加功耗来改善计算设备的计算效率和/或性能从而在某种程度上增强用户体验，但这降低了功率效率。
附图说明
图1图示出根据本文中所公开的教导构造的、用于管理示例计算设备的功率和/或性能的示例系统。
图2是定义不同的性能参数的设置的表，这些不同的性能参数与基于用户的存在和/或参与的图1的计算设备的不同操作模式相关联。
图3是图1的训练管理器和性能控制器的示例实现方式的框图。
图4是用于实现图1的计算设备的示例系统的示意性图示。
图5是表示可被执行以实现图1和/或图3的示例训练管理器的示例机器可读指令的流程图。
图6是表示可被执行以实现图1和/或3的示性性能控制器的示例机器可读指令的流程图。
图7是与图6的示例机器可读指令的实现方式对应的示例机器状态图。
图8是与图6的示例机器可读指令的实现方式对应的另一示例机器状态图。
图9是被构造用于执行图5的指令以实现图1和/或图3的示例训练管理器的示例处理平台的框图。
图10是被构造用于执行图6的指令以实现图1和/或图3的示例性能控制器的示例处理平台的框图。
这些图并未按比例绘制。一般来说，贯穿(多个)附图和所附书面说明书，相同的附图标记将用于表示相同或相似的部分。如本专利中所使用，除非另有指示，否则连接参考(例如，附连的、耦合的、连接的、以及结合的)应被广义地解释并且可包括元件集合之间的中间构件以及元件之间的相对移动。由此，连接参考不必推断两个元件直接地连接并彼此处于固定的关系。记载任何部件与另一部件“接触”意味着在这两个部件之间没有中间部件。
当标识多个要素或组件时，本文使用描述符“第一”、“第二”、“第三”等。除非基于它们的使用上下文另有规定或理解，否则此类描述符并非旨在赋予优先级、物理次序或列表中的布置、或者时间顺序的任何含义，而仅仅是为了便于理解所公开的示例而用作分别指代多个要素或组件的标签。在一些示例中，描述符“第一”可以用于指代详细描述中的要素，而在权利要求中可以使用诸如“第二”或“第三”之类的不同描述符来指代相同的要素。在此类情况下，应当理解，此类描述符仅用于易于引用多个要素或组件。
具体实施方式
长时间以来，能效都是设计计算设备以增加电池寿命的重要因素。最近，由于对环境问题的认识已经提高，能效也已成为对AC供电的计算设备的重要考虑因素。一些计算设备可在AC供电模式(例如，当被插入到壁式插座中时)或DC供电模式(例如，当由电池来供电时)下操作。如本文中所使用，计算设备是指可以是AC供电的、DC供电的、和/或选择性地由AC源或DC源供电的任何类型的设备(例如，膝上型计算机、台式计算机、平板、智能电话等)。不论计算设备是被插入到壁式插座中(AC供电的)还是借助电池来运行(DC供电的)，增加的能效通常涉及牺牲设备的性能效率(例如，计算速度和/或操作响应性)。因此，尽管利用较少的功率来实现操作可能降低功耗和/或增加电池寿命，但此类努力可能降低用户的体验。
许多现有的计算设备取决于该设备是借助AC功率还是DC功率来运行而在不同的功率模式之间切换。也就是说，许多计算设备被实现成当借助DC功率来运行时使能效优先于性能效率(例如，针对较低功率进行优化)并且当借助AC功率来运行时使性能效率优先于能效(例如，针对性能进行优化)。计算设备的功耗和性能的此类改变可能导致取决于设备是AC供电的还是DC供电的不一致的用户体验。然而，使计算设备的性能(和对应的功耗和/或用户体验)基于设备是由AC还是DC供电可能在一些情况下导致能量浪费(例如，由于在比必要的更高的性能模式下操作)并且在其他情况下导致低于期望的性能(例如，由于在比设备正在用于的当前操作期望的更低的功率模式下操作)。例如，即使设备可借助AC功率来运行，但是如果用户不存在和/或用户并非对设备的操作积极地感兴趣，那么也不需要使性能效率优先于能效，这是因为由于用户不存在或者用户并未充分参与故而体验不到降低的性能，因此(基于较低功率模式的)降低的性能不会影响用户体验。另一方面，当用户积极参与计算设备的操作时，即使在设备借助DC功率来运行时，用户也可能出于更好的用户体验而期望高性能。
使功率和性能管理基于计算设备是AC供电的还是DC供电的另一问题在于，与AC供电时的高性能模式相关联的功率低效性可能实际上导致性能损失。例如，当借助AC功率来运行时，为了提高性能，对计算设备的某些组件(例如，Wi-Fi组件)的功率管理通常被禁用以降低等待时间(例如，使等待时间最小化)。然而，已经发现禁用对于Wi-Fi组件的功率管理使一些设备的功耗增加了大约350mW而没有任何有意义的性能增益。消耗350mW的功率而没有任何明显的益处在计算设备的功率预算中留出少得多的功率来完成其他任务，由此导致相对于保持启用对于Wi-Fi组件的功率管理情况下性能的降低。负面地影响设备的功率预算的此类低效性对于支持逐核性能状态的热约束形状因子和平台可能尤其显著。
信息技术(IT)管理软件等等是可能影响计算设备的功率和性能(以及对应的用户体验)的另一因素。例如，许多类型的IT软件服务被排程为每天运行和/或以某种其他相对定期地运行。尽管此类操作可能在后台运行因此它们对于终端用户而言是不可见的，但是它们仍可能负面地影响用户体验，因为IT操作增加了系统负载，由此使用了可能以其他方式致力于其他任务的时钟周期。当然，如上文所概述，对计算设备的性能的此类影响是仅在终端用户实际上存在并参与设备的操作时才影响该用户的体验的问题。如果用户不存在或以其他方式并未对计算设备进行参与，则由IT软件在后台的运行导致的性能和/或响应性的降低不太重要。然而，即使在用户不存在和/或并未对计算设备进行参与时，如果IT软件在该设备正借助DC功率来运行的同时被执行，则该软件也可能降低电池寿命。此外，不仅IT软件的执行能增加系统负载从而如由终端设备感知到的那样降低计算设备的性能和/或响应性，而且系统负载的增加也可能导致设备在更高的功率模式下操作，这转化成过多的热量。此类过多的热量能引起设备中的电扇以在听觉上引人注意的和/或以其他方式使终端用户注意力分散的方式打开和/或增速。
出于增强的用户体验和更长的电池寿命而改善(例如，优化)功率效率与性能效率的利益冲突之间的平衡涉及：使用动态能量性能偏好(EPP)技术基于自存储器的数据传输(例如，文件I/O)来调谐计算设备的操作。动态EPP针对受如由文件I/O指示的要执行的特定任务影响的计算设备的不同组件，实现了操作频率和/或电压的动态选择和/或调整。使用EPP以动态方式在所需要的程度上并在需要时对计算设备的特定组件供电实现了功耗与性能之间改善的(例如，优化的)平衡，由此得到改善的用户体验。然而，由于与同用户关键任务无关的许多种类型的文件I/O对应的相对较高的假肯定率，EPP可能对电池寿命具有负面影响也不具有对用户体验的对应改进。此外，EPP并非总是能够在对用户有益的任务(例如，用户参与其中和/或以其他方式能够感知的前台任务)与在后台发生和/或用户不会立即感兴趣的任务之间区分。更进一步地，EPP不足以利用所有的潜在功率节省和/或性能改善，因为EPP无法解决涉及与相对较少的文件IO操作相关联或者不与文件IO操作相关联的操作的场景。
基于机器学习的动态平台和热框架(DPTF)是改善功率节省与性能之间的折衷的另一种方式。DPTF是
Figure BDA0002698829150000051
开发的、管理提供给处理器的功率同时将系统的温度维持在合适的限制内的框架。更具体地，DPTF涉及使用机器学习来预测系统的性能要求，以在预期特定用例的情况下调节风扇速度和功率(以及对应的性能)，这些预期特定用例诸如在需要具有相对较高性能的突发(与功率的增加相关联)的情况下和/或在计算负载相对较低(与对相对较低的功率水平的需求相关联)的情况下。尽管在一些情形下DPTF有望改善功率效率与性能效率之间的平衡，但该方式相对复杂并且基于需要针对宽泛范围的用户和/或用例进行训练的机器学习模型。实现此类复杂模型可能显著增加功耗，并且由此典型地不会被实现在电池供电的设备上而是为借助AC功率运行的设备保留。
一些计算设备实现后台活动管理器(例如，由
Figure BDA0002698829150000052
为
Figure BDA0002698829150000053
操作系统开发的后台活动调节器(BAM)，该后台活动管理器控制后台应用的活动，以降低此类活动对与用户发起的任务的实现相关联的用户体验的影响。更具体地，此类后台活动管理器监视后台任务并将此类任务的实现抑制到特定的时间段和/或抑制在不太可能影响终端用户尤其感兴趣的操作的降低的频率。尽管降低后台任务的频率降低此类任务影响用户体验的频率，但后台任务仍被执行并且由此如果这些任务与用户发起的任务重合则仍影响用户体验。此外，后台应用管理器并非总是能够检测纯粹处于后台的活动(例如，对终端用户的体验或感知没有影响的活动)，并且由此在用户同时对多个任务的操作感兴趣的某些用例中可能不利地影响用户体验。作为特定示例，用户可使用计算设备上的第一应用来参与视频会议呼叫，同时使用第二应用来检查电子邮件。由于电子邮件应用是用户积极地参与其中的应用，因此后台应用管理器可能将正在进行的视频会议呼叫不正确地确定为用户不感兴趣的后台应用，并且由此通过抑制和/或减少与该会议呼叫相关联的操作而不利地影响对于该会议呼叫的用户体验。
相较于基于功率源(是AC还是DC)而在不同的操作模式之间切换的现有计算设备，本文中所公开的示例计算设备基于用户存在和/或对示例设备的操作的参与来管理功率和性能，从而在用户存在和/或用户对设备进行参与时提供更一致的用户体验并且通过在用户不存在和/或用户不对设备进行参与时在较低功率模式下操作来节约功率(例如，节省电池寿命)。此外，在一些示例中，对用户存在和/或参与的检测与动态EPP结合使用，以显著降低发生的假肯定，从而减少基于文件I/O实现EPP而不具有通过对用户存在和/或参与的检测而可能的用户活动和用户尤其感兴趣的相关联的任务的上下文的益处的情况。更进一步地，通过对用户存在和/或参与的检测而可能的设备使用情境可以显著降低与由机器学习DPTF带来的复杂性和功耗有关的挑战。也就是说，在一些示例中，对用户存在和/或参与的检测可以提供情境来促进与DPTF相关联的机器学习模型以标识相关情况，通过该相关情况，可更容易地预测未来的功率需要从而以相对较小的计算负担来适当地管理功率和风扇速度。此种减少的计算负担可与减少的功耗对应，由此使得不论相关联的设备是由AC源供电还是DC源供电，DPTF都是可行的选项。在一些示例中，对用户存在和/或参与的检测与后台活动管理器结合使用，以提供合适的上下文来恰当地标识何种任务对于用户而言是尤其感兴趣的，以确保这些任务被赋予优先级并且不会被错误地当作后台任务。进一步地，对用户存在和/或参与的检测可以使得后台活动管理器能够标识用于增加或减少基于实际用户活动的上下文、而不是基于假定的后台活动安排的后台活动的合适时间。结果，如果有的话，相关后台活动可以在用户不存在和/或用户不参与计算机的操作时完成，并且在用户存在和/或用户参与时减少后台活动，以免不必要地影响用户体验。
如下文更充分地描述，在一些示例中，可以为计算设备定义多种不同的操作模式，这些不同的操作模式一方面给予性能效率、且在另一方面给予功率效率不同程度的偏好。在一些示例中，在不同的操作模式之间切换基于以下各项来确定：(1)用户是否存在，以及(2)用户是否参与计算设备的操作。
如本文中所使用，当在由计算设备的图像传感器捕捉的图像中标识出用户时，该用户被确定为“存在”。在一些示例中，如果基于图像数据内标识出的用户比图像内的阈值尺寸更小，则该用户距计算设备的距离多于阈值距离，则该用户可不被认为是存在的。
如本文中所使用，当用户提供对计算设备的操作感兴趣的指示时，该用户被认为对计算设备“进行参与”或表现出对计算设备的“参与”。在一些示例中，用户通过与同计算设备相关联的人机接口(也被称为人类接口设备(HID))进行交互(例如，与键盘、鼠标、触摸屏等进行交互)，来指示对计算设备的操作感兴趣(例如，参与该设备)。与计算设备的此类交互在本文中被称为对计算设备的积极参与。另外或替代地，在一些示例中，基于从由图像传感器捕捉的图像的分析而对用户注视的确定，用户被确定为参与的(例如，对计算设备的操作感兴趣)。例如，如果用户正在观看计算设备，则推断出用户参与。相比之下，如果用户正在将目光从计算设备移开，则该用户被确定为没有参与。用户被确定为正在观看计算设备而没有与设备积极地交互在本文中被称为消极地参与计算设备。
存在不取决于用户观看计算设备的对该设备的其他形式的消极参与。例如，用户可发起对大型文件的下载、对计算机代码的编译、对大型日期文件的处理、对视频进行转码等，并且随后在任务完成时将目光移开。在此类情形下，尽管任务可能已经涉及积极参与来发起，但在该任务正在完成期间，用户可能不再(经由人机接口)与设备积极地交互或者甚至不再观看该设备。然而，用户仍基于由用户发起的正在进行的任务而指示正在对设备的操作感兴趣。相应地，此类用户发起的任务在本文中被称为对计算设备的某种形式的消极参与。在一些实例中，用户可在用户发起的任务正在进行时离开计算设备的存在。因此，即使用户不存在，用户参与(例如，消极地参与)计算设备也是可能的。
在一些示例中，不同的操作模式与不同的功率水平和不同的性能水平相对应。如本文中所使用，“性能水平”是指计算设备按其进行操作的性能效率。因此，较高的性能水平对应于较高的性能效率，并且由此对应于改善的用户体验。如本文中所使用，“功率水平”是指由计算设备消耗的功率量。因此，较高的功率水平对应于高功耗(例如，较低的功率效率)。如上文所提及，性能和功耗通常是相关的，使得较高的性能水平对应于较高的功率水平并且反之亦然。在一些示例中，计算设备的不同操作模式可包括以下各项中的一项或多项：(1)交互模式，对应于用户存在且对计算设备积极地参与的情况；(2)存在平衡模式，对应于用户存在且对计算设备消极地参与的情况；(3)缺席平衡模式，对应于用户不存在(例如，缺席)但对计算设备消极地参与的情况；(4)存在静默模式，用户存在但不对计算设备进行参与的情况；(5)缺席静默模式，用户不存在且不对计算设备进行参与的情况。在一些示例中，存在平衡模式和缺席平衡模式可被组合成与不论用户是否存在、该用户都对计算设备消极地参与的情况对应的单平衡模式。类似地，在一些示例中，存在静默模式和缺席静默模式可被组合成与不论用户是否存在、该用户都不对计算设备进行参与的情况对应的单静默模式。
如下文更充分地描述，交互模式与比其他操作模式更高的性能水平和更高的功率水平相关联，以出于改善的用户体验而增强(例如，优化)计算设备的性能。交互模式下高质量的用户体验是重要的，因为其对应于用户积极地与计算设备交互并且由此可能对利用以峰值性能操作的设备进行快速响应最感兴趣的情况。平衡模式与在性能效率与功率效率之间相对地平衡的功率水平和性能水平相关联。以此种方式，用户仍能够在节约能量(例如，以延长电池寿命)的同时具有高质量的用户体验。相对于交互模式期间、在平衡模式期间降低设备的性能效率在此种情况下是适当的，因为用户没有积极地与设备交互，使得所有用户发起的任务已被指定，从而使得不太需要准备好对来自附加用户输入的附加计算负载进行响应。静默模式与比其他操作模式更低的性能水平和更低的功率水平相关联，以出于改善的功率效率(例如，延长的电池寿命)而降低计算设备的功耗(例如，使计算设备的功耗最小化)。功耗在静默模式下可被认为是优先考虑的事，因为用户体验的降低不是考虑因素，因为用户不参与计算设备的操作。
如上文所提及，在一些示例中，在任何给定的时间点要实现的特定的操作模式的确定基于对由计算设备的图像传感器捕捉的图像数据的分析。在本文中所公开的一些示例中，用于(基于用户的注视方向)确定用户的存在和参与的图像数据分析中的至少一些由与图像传感器通信、并且在低功率模式或超低功率模式(例如，消耗大约10mW)下操作的一个或多个处理器来执行。在此类示例中，(多个)处理器(例如，(多个)数字信号处理器)基于对图像数据的面部识别分析而生成指示用户是存在(例如，由“1”表示)还是缺席(例如，由“0”表示)的元数据。指示用户存在或缺席的元数据用于管理计算设备的功率和性能，由此降低与传输、处理、和/或分析图像数据相关联的功率成本。
在一些示例中，直到用户被确定为处于计算设备的特定接近度范围内时注视分析才被执行，以免在用户处于被认为缺席的距设备的距离处时(例如，其中基于用户的距离，该用户不可能能够容易地查看设备的显示屏上的内容)耗费资源。在一些情形下，如果用户正在设备处提供输入(例如，正在对设备积极地参与)，则本文中所公开的示例抑制就用户存在和/或注视来分析图像数据。也就是说，在一些示例中，使用与计算设备的积极交互来推断用户存在和参与。
图1图示出根据本文中所公开的教导构造的示例系统100，该示例系统100用于基于检测到用户103的存在和/或用户103对设备102的参与来管理计算设备102的功率和/或性能。计算设备102可以包括个人计算机、膝上型计算机、平板、智能电话等。在图1的示例中，计算设备102包括至少一个处理器104。示例处理器104可与处理单元的类型对应，该处理单元的类型诸如处理器核、处理器、和/或微控制器。在一些示例中，处理器104与芯片上系统(SoC)相关联。示例处理器104可执行操作系统106和各种其他软件应用等等，这些其他软件应用包括(多个)用户发起的应用108和(多个)后台应用110。
示例操作系统106是来自
Figure BDA0002698829150000091
公司的操作系统，诸如
Figure BDA0002698829150000092
10、
Figure BDA0002698829150000093
8等。示例用户发起的应用是用户通过其而与计算设备102交互以完成用户发起和/或用户指定的任务的应用(例如，字词处理应用、网络浏览器、视频播放器等)。用户103可经由诸如键盘、鼠标、触摸屏、话筒等之类的一个或多个外围设备而与计算设备102交互，这些外围设备与计算设备102的(多个)示例用户输入检测传感器112通信。(多个)用户输入检测传感器112将指示用户活动或不活动的数据传送至处理器104。进一步地，许多(多个)用户发起的应用108包括经由计算设备102的显示屏114渲染的相关联的用户界面，以促进用户交互(例如，用于显示所请求的内容(例如，文档、网页、视频等)，视觉上确认用户输入数据的接收，指示用于用户选择的选项等)。(多个)示例后台应用110包括不涉及与用户103的正在进行的交互的应用。尽管一些后台应用110可由通过用户交互来发起，但其他后台应用110可独立于用户103而被发起(例如，由操作系统106、IT管理人员、由IT管理人员管理的IT安全软件应用发起)。一些后台应用110可包括经由显示屏114渲染的相关联的用户界面。然而，其他后台应用110可能不向用户103提供此类应用正在操作的(视觉的或以其他方式的)任何指示。在一些示例中，操作系统106包括用于管理后台应用110的发起和/或正在进行的操作的后台活动管理器(例如，
Figure BDA0002698829150000101
操作系统的后台活动调节器(BAM))。
操作系统106、(多个)用户发起的应用108、以及(多个)后台应用110中的任一者的实现对处理器104上的计算负载作出贡献，处理器104上的计算负载对由计算设备102消耗的功率作出贡献。此外，操作系统106、(多个)用户发起的应用108、和/或(多个)后台应用110中的任一者的实现还可涉及计算设备102中同样对由该设备102消耗的功率量作出贡献的其他组件(例如，存储器、网卡、显示器驱动器、其他通信接口、冷却风扇等)的操作。计算设备102的组件和/或操作的高功率需求导致功耗的增加和对应的电池寿命的减少(假定设备是电池供电的)和/或能效的降低。因此，降低功耗是设计和操作计算设备中重要的考虑因素。然而，功耗的降低可能负面地影响计算设备102的性能，这可能负面地影响用户体验。如果性能的降低并未被用户注意到，则性能效率的降低不必然负面地影响用户体验。相应地，在一些示例中，为了在不会显著影响用户体验的情况下降低功耗，计算设备102的操作可取决于用户103的活动和/或用户103与设备操作的参与而在较高功率操作模式和较低功率操作模式之间切换。
例如，基于由(多个)用户输入检测传感器112生成的数据，处理器104可使得显示屏114在不具有用户输入的预定义的时间段之后(例如，10分钟、15分钟)之后关闭。另外或替代地，在一些示例中，在不具有用户活动的预定义的时间段之后，处理器104可使得计算设备102进入睡眠模式，在该睡眠模式下，计算设备102处于低功率状态。
虽然处理器104可基于预定义时段的用户不活动而使得计算设备102进入睡眠模式并且使得显示屏114关闭，但是此类预定义的时段可能无法准确反映用户103相对于计算设备102的活动。例如，用户103并非正在观看显示屏114或用户103相对于计算设备102不存在的时间段，可能比触发处理器104以关闭显示屏114的预定义的超时时段更短。例如，在计算设备102的操作期间，用户103可将他们的注视从显示屏114转移开，以例如查看纸质文档、与进入房间的另一人员交谈等。在一些示例中，用户103可从计算设备102处走开，并且随后返回到计算设备102处。因此，存在这样的时间段：其中用户103未注意显示屏114或未注意计算设备102的、未通过用户不活动的预定义的超时时段准确捕捉的存在。然而，在用户103(通过不在场或不参与)未注意显示屏114的时间段期间，几乎不关心用户103是否会感知到计算设备102的性能的降低。因此，用户缺席或不参与计算设备102的这些时段提供了基于性能效率的降低而降低功耗而不会负面地影响用户体验的机会。
图1的示例计算设备102包括一个或多个图像传感器116。示例图像传感器116提供用于生成图像数据的装置。在图1的所图示的示例中，图像传感器116包括面向用户的相机(例如，相机面向与显示屏114相同的方向)。示例图像传感器116可耦合至显示屏114，被设置在显示屏114周围的边框中，和/或被定位在计算设备102的其他部分(例如，膝上型计算机的底座)上。图1的示例的图像传感器116与成像视场(FoV)118相关联，该成像视场118被表示为跨越图1中的虚线120、122之间。成像FoV 118可以与例如计算设备102的前向相机或图像传感器116的视场对应。在图1的示例中，图像传感器116生成表示与计算设备102周围的区域对应的成像FoV 118内存在的对象的图像数据。
当计算设备102处于上电状态时，用户103可能移动到成像FoV 118中以及移动到成像FoV 118外。例如，当用户103在计算设备搁置在其上的书桌处工作时，该用户103可处于成像FoV 118内。当用户103从计算设备102处走开以例如去吃午餐时，该用户103可移动到成像FoV 118外。在一些示例中，当用户103在成像FoV 118内时，图像传感器116生成包括用户103的图像数据。在一些此类示例中，用户103距设备102的距离可由图像数据中所表示的用户103相对于FoV 118的剩余部分的尺寸来指示(例如，当用户更靠近于设备102时该用户看上去更大，而在更加远离时看上去更小)。在一些示例中，在用户103在成像FoV 118外部时生成的图像数据将不包括用户103。
在图1的示例中，当计算设备处于上电状态时，包括当计算设备102处于睡眠模式(例如，低功率模式)时，图像传感器116生成图像数据。换言之，图像传感器116在常开模式下操作。为了在提供常开传感时节约功率，图1的示例图像传感器116在低功率模式下操作。例如，当在低功率常开模式下操作时，图像传感器116能(例如，基于来自计算设备的处理器104的指令)以低分辨率和/或低帧率捕捉图像数据以节约功率。当图像传感器116在与例如视频会议应用有关的用户使用设备期间生成图像数据时，示例图像传感器116可以(例如，基于来自计算设备的处理器104的指令)切换到以高帧率生成高分辨率图像数据。示例图像传感器116可以在视频会议应用的操作已经结束之后返回至在常开低功率模式下操作。因此，在一些示例中，图1的示例通过使用现有的用于生成图像数据的装置(诸如，计算设备102的面向用户的相机)捕捉用于确定用户存在的图像数据，来进一步节约能量。在一些示例中，当在常开低功率模式下操作时，图像传感器116能以例如10帧/秒的帧率生成图像数据。
在图1的示例系统100中，由图像传感器116生成的图像数据由性能控制器124处理。图1的示例性能控制器124提供用于基于用户存在和/或用户对计算设备102的操作的参与来调节和/或控制该设备的功率水平和/或性能水平的装置。示例性能控制器124可以由计算设备102的一个或多个处理器(诸如，图1的处理器104)实现。在一些示例中，由性能控制器124执行的分析中的至少一些由计算设备102的、在低功率模式或超低功率模式下操作的(多个)处理器(诸如(多个)数字信号处理器)实现。在其他示例中，性能控制器124由一个或多个基于云的设备来实现，该一个或多个基于云的设备诸如距计算设备102远程地定位的一个或多个服务器、处理器、和/或虚拟机。在其他示例中，由性能控制器124执行的分析中的一些由基于云的设备实现、而分析中的其他部分由(多个)本地处理器或者一个或多个计算设备实现。
在一些示例中，性能控制器124基本上实时地(例如，接近于数据被收集的时间)接收图像数据。在其他示例中，性能控制器124基于一个或多个设置、但在图像数据被生成之后的某个时间(例如，几秒后、几分钟后)而在稍后的时间(例如，定期地和/或不定期地)接收图像数据。在一些示例中，性能控制器124对图像数据执行一个或多个操作，诸如，过滤原始图像数据和/或从图像数据移除噪声。
在图1的所图示的示例中，图1的性能控制器124用于处理由图像传感器116生成的图像数据，以确定在成像FoV 118内是否存在用户103和/或用户103是否参与计算设备102的操作。更具体地，在一些示例中，性能控制器124执行一个或多个所学习的模型，以基于由图像传感器116生成的图像数据来确定用户103在成像FoV 118内的存在以及用户103在计算设备102的操作中的参与。图1的示例性能控制器124由训练管理器126使用(多种)机器学习技术(例如，监督式学习)和包括用户103和/或其他用户的训练图像数据来训练，以检测(多个)人脸和/或识别诸如鼻子、耳朵、嘴巴等之类的(多个)特定人类面部特征。使用所学习的(多个)面部检测模型，示例性能控制器124分析由图像传感器116生成的图像数据并确定在成像FoV 118内是否存在用户103。基于对成像FoV 118中用户103的检测以及一个或多个预定义的规则，性能控制器124控制影响计算设备102的功率水平和/或性能水平的特定性能参数的设置。
当图1的示例性能控制器124确定用户在显示屏114的观看区域128内时，性能控制器124使用所学习的(多个)面部检测模型来分析图像数据，以标识用户103的相对于图像传感器116的注视方向132。在一些示例中，用户103的注视方向132与在用户面部的前方径直延伸的方向。因此，在一些示例中，用户103的注视方向132被定义为用户的面部相对于图像传感器116的角度。在图1的示例中，用户的注视相对于图像传感器116的方向充当用户的注视相对于显示屏114的指示符，并且由此充当用户103对显示屏114的专注度的指示符。也就是说，如果用户103面朝显示屏114，示例性能控制器124可推断用户103对显示屏114上所呈现的内容感兴趣并且由此用户103参与计算设备102的操作。另一方面，如果用户103面朝侧面或背对显示屏114，则示例性能控制器124可推断用户103对计算设备102的操作不感兴趣(例如，不参与计算设备102的操作)。例如，用户103可坐在他的或她的书桌处、在显示屏114的观看区域128内，但在与同事讨论、阅读纸质文档等时从显示屏114转开。用户103相对于设备102的转向由图1的曲线箭头130表示。在一些示例中，性能控制器基于推断出的用户103的参与来调节计算设备102的性能，以(例如，在用户参与时)出于改善的用户体验而提高性能、或者(例如，在用户未参与时)降低性能以节约功率。
在一些示例中，性能控制器124基于对用户103的头部取向的标识和/或基于对图像数据中面部特征的标识(包括例如是否一只耳朵是可见的、是否两只眼睛是可见的等)来确定注视方向132。人们并非总是径直看向他们自己的前方，而是可将他们的眼睛转动成任何方向。相应地，在一些示例中，当用户103处于显示屏114的观看区域128中时，图1的示例性能控制器124确定用户的中心注视方向132周围的用户视场FOV 134。在图1的示例中，用户FoV 134被表示为跨越虚线136、138之间。在图1的示例中，性能控制器124由训练管理器126使用(多种)机器学习算法来训练，以识别面部特征并基于对此类面部特征的识别来确定注视方向132和/或用户FoV 134。基于对注视方向132和/或用户FoV 134的确定以及一个或多个预定义的规则，示例性能控制器124控制影响计算设备102的功率水平和/或性能水平的特定性能参数的设置。
在一些示例中，训练管理器126由计算设备102的处理器104实现。在一些示例中，训练管理器126由计算设备102的不同的处理器实现。在其他示例中，训练管理器126由一个或多个基于云的设备来实现，该一个或多个基于云的设备诸如一个或多个服务器、处理器、和/或虚拟机。在其他示例中，由训练管理器126执行的分析中的一些由基于云的设备实现、而分析中的其他部分由(多个)处理器或者一个或多个计算设备实现。用于实现示例训练管理器126的(多个)处理器和/或(多个)基于云的设备可以与用于实现性能控制器124的(多个)处理器和/或(多个)基于云的设备相同或不同。
在一些示例中，性能控制器124基于来自(多个)用户输入检测传感器112的、指示用户103对计算设备102积极地参与(例如，在键盘上打字)的数据来进一步降低计算设备102的功耗。在此类示例中，当用户输入指示用户当前存在并专注于计算设备102时，性能控制器124通过指令图像传感器116不生成图像数据和/或通过抑制分析与用户的存在和/或注视方向有关的图像数据，来节省功率成本。
在一些示例中，图1的性能控制器124响应于用户103的存在和/或用于对计算设备102的操作的参与的确定，来控制管理计算设备102的功耗、性能、和/或系统响应性的一个或多个性能参数。例如，示例性能控制器124可基于用户103是否被确定为存在和/或对计算设备102进行参与，来调整或调谐这样的功率限制(PL)参数：该功率限制参数定义处理器104和/或包含处理器104的相关联的SoC的封装功率限制。如本文中所还使用的，封装功率限制定义对处理器104和/或相关联的SoC的功率汲取(以及对应的性能)的限制。较高的封装功率限制使得处理器104能够以较高的频率操作较长的时段。然而，较高的封装功率限制导致较大的功耗。
另外或替代地，在一些示例中，性能控制器124可调节能量性能偏好(EPP)参数，以定义要如何响应于有关的文件I/O来动态地选择和/或调谐计算设备102的组件的操作频率和/或电压。更具体地，EPP参数定义以下的任一项：(1)对性能效率(例如，较高的性能和对应的较高的功耗)给予偏好，(2)对功率效率(例如，以某个性能水平为代价的较低的功率)给予偏好，或者(3)要相对地平衡性能效率与功率效率。在一些示例中，EPP参数可表示性能偏好与功率偏好之间的变化比例，由此指示给予一个因素优于另一因素的优先度或偏好度。不像基于文件I/O的、不具有用户存在和/或参与的上下文的传统动态EPP，所图示的示例的性能控制器124基于来自图像传感器116的图像数据指示用户是存在的还是缺席的、以及用户参与还是不参与计算设备102的操作，来对EPP参数赋值。这可以显著降低这样的动态EPP假肯定：其中，对于与用户103尤其感兴趣的任务不相关联的文件I/O事件而不必要地增加功耗。
另外或替代地，在一些示例中，性能控制器124可定义P状态上限，该P状态上限定义处理器104能以其进行操作的最高性能状态(P状态)(例如，防止处理器104以比P状态上限更高的P状态进行操作)。示例处理器104可被配置成用于以与不同操作频率和对应的电压相关联的多个P状态中的任何一个P状态来进行操作。如本文中所使用，当第一P状态与同更高的操作频率(以及对应的更高的电压)相关联的较高性能相对应时，第一P状态比第二P状态“更高”。因此，在一些示例中，最高P状态(例如，P0)与turbo频率对应，而较低的P状态(例如，P1、P2、...PN)与较低的频率(以及较低的功耗)相对应。
另外或替代地，在一些示例中，性能控制器124可调整后台活动管理器(BAM)参数，以控制后台活动管理器限制或扼制后台活动的程度。不像基于假定降低对用户体验的任何影响的安排来控制后台活动的现有后台活动管理器，所图示的示例的示例性能控制器124基于来自图像传感器116的图像数据指示用户存在还是缺席、以及用户参与还是不参与计算设备102的操作，来对BAM参数赋值。因此，在所公开的示例中，后台活动基于用户的实际行为和/或活动而被控制，以在用户103存在和/或参与计算设备102时降低对该设备的性能和/或响应性的影响、同时在用户缺席和/或不参与时启用和/或增加后台活动。
PL参数、EPP参数、P状态上限、以及BAM参数在本文中被统称为性能参数。在一些示例中，由性能控制器124设置和/或调节的不同性能参数中的一个或多个性能参数的不同的值可结合计算设备102的不同操作模式来共同地定义。在一些此类示例中，针对任何给定时间点时的实现方式选择的特定操作模式基于从由图像传感器116生成的图像数据的分析确定的用户存在和/或参与。在图2中所示出的表中概述了示例操作模式和相关联的针对不同性能参数的设置。
如在图2的所图示的示例中所示，当用户103存在且积极地参与时，性能控制器124可选择交互模式202来定义计算设备102的操作。如上文所描述，积极参与基于从(多个)用户输入检测传感器112获得的、指示用户103正在与计算设备102交互的数据而被标识。在一些示例中，当用户103正在与计算设备102交互时，该用户被假定为存在。出于该原因，在图2中没有表示出针对用户积极地参与但缺席于计算设备102的场景的操作模式。值得注意的是，存在用户可被确定为缺席但仍对计算设备102积极地参与的操作的场景。例如，用户103可通过远程连接与计算设备102积极地交互，或者用户可以是存在的并且正在与设备交互但由于该用户位于成像FoV 118的外部而被认为是缺席的(例如，经由来自设备102后方的语音命令来进行交互)。然而，在此类场景中，用户被当作是存在的(例如，从与设备的用户交互推断出用户存在)，从而选择交互模式202，因为不论用户的实际位置、用户交互都指示用户可能对高执行响应系统感兴趣。
如在所图示的示例中所示，交互模式202定义封装功率限制，该封装功率限制被设置为与可用于处理器104的最高封装功率限制对应的“高Turbo”。进一步地，用于交互模式202的EPP参数被定义为对高性能(以功率节省为代价)给予偏好。进一步地，在该示例中，交互模式202不指定P状态上限。也就是说，示例计算设备102不被限制于该设备可在其中操作的P状态，但能够以直到为该设备设计的最高P状态(例如，最高操作频率)的任何P状态来进行操作。最终，如在图2的示例中所示，交互模式202强有力地限制(例如，激进地扼制)后台活动，由此为用户尤其感兴趣的任务(例如，用户发起的任务和/或同用户103与设备102正在进行的交互相关联的任务)保留处理器能力。在该示例中，交互模式202是最高执行操作模式(相对于其他操作模式)，该交互模式202用于由于用户存在并积极参与计算设备102的操作而提高用户体验(例如，使用户体验最大化)。由此，交互模式202也与最高功耗相关联。尽管交互模式202期间的高功耗负面地影响电池寿命，但这是可接受的折衷，因为功耗尤其与其中用户最可能对高性能和高系统响应性感兴趣的情况相关联。此外，与在用户103缺席或较少地参与(例如，消极地参与或不参与)计算设备102的操作时切换至其他较低功率操作模式相比，交互模式202期间功耗的增加可能更多。
例如，如在图2中所表示，当用户103存在但仅消极地参与时，示例性能控制器124可选择存在平衡模式204来定义计算设备102的操作。如上文所描述，能以两种方式中的一种方式来标识消极参与。在一些实例中，可从对由图像传感器116生成的、指示当前用户正在观看显示屏114(例如，阅读或收看显示屏114上的内容)的图像数据的分析推断出消极参与。此类确定基于确定用户103的注视方向132被定向成朝向显示屏114。另外或替代地，可基于用户发起的任务的正在进行的执行来推断消极参与。基于示例计算设备102的正在进行的操作来推断用户参与不取决于用户的存在或注视，并且由此可在不分析图像数据的情况下来确定和/或可在不论用户103是否存在的情况下来进行推断。然而，在一些示例中，基于从正在进行的用户发起的任务确定的消极参与、对所选择的操作模式的特定性能参数的设置可能基于用户103是存在还是缺席而有所不同。
更具体地，如在图2的所图示的示例中所示，存在平衡模式204定义了被设置为“正常”的封装功率限制，该被设置为“正常”的封装功率限制与为处理器104定义的默认封装功率限制对应。进一步地，定义存在平衡模式204的EPP参数，以使性能效率与功率效率平衡。进一步地，在该示例中，存在平衡模式204将P状态上限指定为与高效P状态(Pe)对应，该高效P状态定义了使操作频率与功耗之间达到最佳平衡的默认P状态。也就是说，示例计算设备102被限制于设备可在其中操作的、不高于高效P状态(例如，设备可在较低的(能量效率较高的)P状态而并非较高的P状态(例如，与Turbo相关联)下操作)的P状态。最终，如在图2的示例中所示，存在平衡模式204微弱地限制后台活动，由此使得后台应用能够发生但仍为用户尤其感兴趣的任务(例如，用户发起的任务和/或同用户103与设备102正在进行的交互相关联的任务)保留处理器能力。
相较于与用户103存在并且消极地参与的情况对应的存在平衡模式204，当用户缺席但仍消极参与时，示例性能控制器124可选择缺席平衡模式206。如上文所提及，当用户103缺席(例如，在由图像传感器116生成的图像数据中未被标识)时，不存在基于用户注视来推断参与的基础。因此，对于用户103缺席时用户参与的仅有基础是基于正在进行的用户发起的任务。如在图2中所表示，缺席平衡模式206定义了除BAM参数以外与存在平衡模式204的性能参数基本上相同的性能参数。更具体的，鉴于存在平衡模式204的BAM参数指示后台活动要被微弱地限制，缺席平衡模式206的BAM参数指示后台活动要被限制到由后台活动管理器定义的正常或默认程度。在一些示例中，存在平衡模式204和缺席平衡模式206的性能参数可以与图2中示出的性能参数相反。在其他示例中，缺席平衡模式206的性能参数可与存在平衡模式204的性能参数相同，以使得这两种模式可对应于同一种通用平衡操作模式。在此类示例中，平衡模式基于对用户的消极参与的确定来选择，而不考虑用户是存在还是缺席。然而，这不必然暗示对图像数据的分析可被省略，因为用户参与可基于从图像数据确定的注视方向来确定。
此外，在一些示例中，不论平衡模式204、206的性能参数取决于用户103是存在还是缺席而被确定为相同的还是不同的，用户103的存在或缺席可用于对风扇控制模式进行激活或去激活。更具体的，如在所图示的示例中所示，当用户缺席时，风扇控制模式可被激活。在一些示例中，风扇控制模式的激活调节或调谐PL参数，从而为封装功率限制定义足够低的阈值限制，以在实质上防止风扇噪声。此类示例中PL参数的特定值可以是OEM平台专用的。降低风扇噪声实质上降低或消除了示例计算设备102将使处于该设备附近但不参与其操作或不以其他方式对其操作感兴趣的人注意力分散的可能性。此外，降低风扇噪声可通过降低风扇速度来实现，这与由风扇消耗的功率的降低对应。因此，降低风扇噪声还可以增加电池寿命。
如在图2中所表示，当用户103存在但不参与时，示例性能控制器124可选择存在静默模式210来定义计算设备102的操作。如上文所描述，当用户103并非正在观看显示屏114(例如，用户面向侧面或背离屏幕114)并且不存在正在进行的用户发起的任务时，用户103不参与计算设备的操作(但仍存在)。在此类情形下，用户不指示对计算设备102的操作的任何特定的兴趣，以使得维持性能以提供高质量的用户体验是不必要的。相应地，在一些示例中，存在静默模式210与将功耗降低至相对于其他操作模式最低的程度(例如，使功耗最小化)的性能参数对应。例如，如在图2的所图示的示例中所示，存在静默模式210定义了被设置为“低功率”的封装功率限制，该被设置为“低功率”的封装功率限制与低于为处理器104定义的默认封装功率限制的封装功率限制对应。进一步地，用于存在静默模式210的EPP参数被定义为对降低功耗(以性能效率为代价)给予偏好。进一步地，在该示例中，存在静默模式210指定将可用的P状态限制于低于高效P状态(Pe)的那些P状态(例如，与较低的操作频率相关联)的P状态上限。最终，如在图2的示例中所示，存在静默模式210的BAM参数指示后台活动要被限制到由后台活动管理器定义的正常或默认程度。
相较于与用户103存在但并不参与的情况对应的存在静默模式210，当用户既缺席又不参与时，示例性能控制器124可选择缺席静默模式212。如在图2中所表示，缺席静默模式212定义除P状态上限以外与存在静默模式210的性能参数基本上相同的性能参数。更具体的，鉴于针对存在静默模式210的P状态上限被设置为低于高效P状态的P状态，缺席静默模式212的P状态上限被设置为高效P状态。在一些示例中，存在静默模式210和缺席静默模式212的性能参数可以与图2中示出的性能参数相反。在其他示例中，缺席静默模式212的性能参数可与存在静默模式210的性能参数相同，以使得这两种模式可对应于同一种通用静默操作模式。在此类示例中，静默模式基于用户不参与计算设备102的确定来选择，而不考虑该用户是存在还是缺席。然而，这不必然暗示对图像数据的分析可被省略，因为用户参与(或缺乏用户参与)可基于从图像数据确定的注视方向来确定。此外，如同平衡模式204、206，在一些示例中，风扇控制模式208可在用户缺席时被激活，从而为封装功率限制定义足够低的阈值限制以在实质上防止风扇噪声。
尽管参考图2示出和表述了若干种不同的操作模式202、204、206、208、210、212，但对于取决于用户103的存在和/或参与而不同的场景期间的实现方式，与不同性能参数的值的不同组合相关联的其他操作模式可作为上文所描述的那些操作模式的附加或替代而被实现。此外，在一些示例中，在给定的时间点所选择的特定操作模式可基于附加的上下文因素。例如，一些用户发起的活动可被定义为即使在用户并非积极地参与计算设备102的操作的情况下、也触发交互模式202(而不是平衡模式)。
此外，在一些示例中，由性能控制器124针对特定操作模式对图像数据的分析以及对性能参数的对应控制可以基于所学习的反馈来细化。例如，性能控制器124可基于所学习的数据来调整在不同的情况下扼制后台活动的程度，该所学习的数据与用户如何基于通过用户103(或另一用户)的注视朝向或背离图像传感器116的改变而跟踪的移动来指示对显示屏的注意力有关。
图3是图1的训练管理器126和性能控制器124的示例实现方式的框图。该示例的示例训练管理器126包括训练器300和机器学习引擎302。示例训练器300使用训练图像数据304(例如，经由监督式学习)来训练机器学习引擎302，以生成由性能控制器124用来标识计算设备102的用户的面部和/或面部特征的一个或多个模型。示例训练图像数据304可以包括针对用户103和/或其他主体的历史图像数据。在一些示例中，训练图像数据包括针对特定用户103的图像数据。在其他示例中，训练图像数据304可以包括针对多个人类主体的图像数据。在图3的示例中，训练图像数据304被存储在数据库306中。在一些示例中，训练管理器126包括数据库306。在其他示例中，如图3中所示，数据库306位于训练管理器126外部，在可由该训练管理器126访问的位置中。
如上文所提及，示例性能控制器124被构造成用于通过调节性能参数、和/或通过基于用户存在和/或对计算设备的参与而选择具有性能参数的设置值的特定操作模式，来管理该计算设备(例如，图1的计算设备102)的功耗和性能。示例性能控制器124从图1的计算设备102的图像传感器116(例如，面向用户的相机)接收图像数据308。图像数据308表示图1中示出的图像传感器116的示例成像FoV 118内的对象。如上文所提及，在一些示例中，图1的图像传感器116是常开传感器，并且由此可以在计算设备102处于上电状态(包括睡眠模式)时生成图像数据。示例图像传感器116能以例如10帧每秒的帧率生成图像数据308，该图像数据308可以是低分辨率图像数据。
图像数据308被存储在数据库310中。在一些示例中，性能控制器124包括数据库310。在其他示例中，如图3中所示，数据库310位于性能控制器124外部，在可由该性能控制器124访问的位置中。图3的示例数据库306、310可以是同一存储设备或不同存储设备。
图3的示例数据库310存储与成像FoV 118以及显示屏114的观看区域128有关的数据。与成像FoV 118以及显示器114的观看区域128有关的数据可以经由(多个)用户输入基于例如图像传感器116和显示屏114的制造规格(例如，观看角度、视场等)来提供。
图3的示例性能控制器124包括用户存在检测器312。示例用户存在检测器312使用由训练器300进行训练期间生成的(多个)学习模型来分析图像数据。(多个)机器学习模型包括(多个)示例面部检测模型314。在图1的示例中，(多个)面部检测模型314被存储在数据库310中。示例用户存在检测器312使用(多个)面部检测模型314来标识用户面部在成像FoV118中的存在。
图3的示例性能控制器124包括注视检测器316。在图3的示例中，如果用户存在检测器312确定成像FoV 118中存在用户103，则用户存在检测器312指令注视检测器316分析图像数据308，以确定用户103相对于显示器114的注视方向。如果示例用户存在检测器312确定成像FoV 118中不存在用户103，则用户存在检测器312抑制指令注视检测器316分析图像数据308以降低功耗，因为用户存在检测器312已经确定用户103相对于图1的计算设备102是不存在的。
更具体地，示例注视检测器316使用(多个)面部检测模型314分析图像数据308中的用户103的面部特征，以确定用户103在显示器114的观看区域128内的位置、用户的注视相对于图像传感器116的角度，并且由此确定用户的注视方向132和对应的用户视场134。例如，注视检测器316标识图像数据308中用户103的(多个)面部特征(诸如嘴巴、鼻子、(两只)眼睛、以及(两只)耳朵之类)，以确定用户103是正面向图像传感器116、相对于图像传感器116成一角度地观看、还是面向图像传感器116的相反方向。基于用户的面部相对于图像传感器116的角度，示例注视检测器316基于用户注意还是不注意显示屏114来确定用户是否参与计算设备102的操作。例如，如果注视检测器316确定用户103正面向图像传感器116并且由此显示屏在该用户的视场内，则注视检测器316确定用户注意显示屏114并且由此(至少消极地)参与计算设备102的操作。如果示例注视检测器316检测到用户103的面部相对于图像传感器116成一角度并且由此显示屏114被部分地或完全地从用户的视场移除，则注视检测器316确定用户对于显示屏114是不注意的，并且由此不参与计算设备1102。
图3的示例性能控制器124包括用户交互检测器318，以分析由图1的(多个)用户输入检测传感器生成的、指示与计算设备102(例如，经由键盘、鼠标、触摸屏、话筒等)的用户交互的数据。在图3的示例中，如果用户交互检测器318确定用户103正在与计算设备102交互，则用户被假定为存在并积极地参与计算设备。相应地，在一些此类示例中，用户交互检测器318在用户103对计算设备102进行参与时、指令用户存在检测器312和注视检测器316抑制对图像数据308进行分析以节约功率。在此类示例中，图像传感器116在与安装在计算设备102上的(多个)其他用户发起的应用108(诸如视频会议应用)结合的情况下仍可生成图像数据。
图3的示例性能控制器124包括应用使用检测器320。示例应用使用检测器320确定图1的计算设备102上所安装的任何(多个)应用(例如，(多个)用户发起的应用108和/或(多个)后台应用110)是否在操作中。在一些示例中，当用户发起的应用108正在执行正在进行的用户发起的任务时，应用使用检测器320确定用户正在(至少消极地)参与计算设备102的操作。在一些示例中，此种确定可与用户是存在还是缺席无关地，并且与用户是否正在看向显示屏114无关地作出。相应地，在一些示例中，当存在正在进行的用户发起的应用108时，应用使用检测器320在用户103对计算设备102进行参与时、指令用户存在检测器312和注视检测器316抑制对图像数据308进行分析以节约功率。
注视检测器316、示例用户交互检测器318、以及示例应用使用检测器320在本文中全部被统称为参与检测器，因为它们各自可以用于确定用户对计算设备102的参与。当用户与计算设备102积极地交互时，示例用户交互检测器318确定积极参与。当用户正在看向计算设备102时，示例注视检测器316确定消极参与。当用户发起的任务在计算设备102上正在进行时，示例应用使用检测器320确定消极参与。
图3的示例性能控制器124包括示例操作模式选择器322，以基于由用户存在检测器312、注视检测器316、用户交互检测器318、和/或应用使用检测器320中的一者或多者所确定的用户存在和/或参与,来为计算设备选择多个预定义的操作模式定义324中的一个。在一些示例中，不同的操作模式定义324定义一组性能参数的特定设置，这些性能参数包括例如，PL参数、EPP参数、P状态上限、以及BAM参数。在一些示例中，不同的操作模式定义324被存储在数据库310中。在一些示例中，操作模式选择器322基于数据库310中所存储的(多个)操作模式规则326来选择特定的操作模式定义324。(多个)示例操作模式规则326定义与用户存在和/或参与有关的触发特定操作模式的实现的条件。例如，第一规则可指定当用户103存在并且用户103积极地参与计算设备的操作时计算设备102将根据交互模式(例如，图2的交互模式202)来操作。附加规则可指定图2的其他操作模式204、206、208、210、212(和/或任何其他操作模式)中的每一种操作模式将在何时实现。
图3的示例性能控制器124包括性能参数管理器328，以基于由操作模式选择器322所标识的特定操作模式定义324来设置或调节性能参数。也就是说，当示例操作模式选择器322(基于用户存在和/或参与的改变)确定计算设备102要切换至不同的操作模式时，性能参数管理器328为新的操作模式中所定义的每个性能参数赋予相关值，以使得该计算设备根据所选择的操作模式的参数设置来开始操作。在一些示例中，性能参数管理器328可与数据库中所存储的特定操作模式定义324无关地对特定的性能参数赋值。进一步地，在一些示例中，性能参数管理器328可基于对与用户行为有关的(多个)模式和/或(多个)趋势的分析来定义新的操作模式定义324和/或操作模式规则、和/或修订现有的定义和/或规则。
尽管图3中图示出实现图1的训练管理器126的示例方式，但图3中所图示的元件、过程和/或设备中的一个或多个可以被组合、拆分、重新布置、省略、消除和/或以任何其他方式被实现。进一步地，示例训练器300、示例机器学习引擎302、示例训练数据库306、和/或更一般地，图3的示例训练管理器126，可由硬件、软件、固件、和/或硬件、软件和/或固件的任何组合来实现。因此，例如，示例训练器300、示例机器学习引擎302、示例训练数据库306、和/或更一般地，示例训练管理器126中的任一者可以由一个或多个模拟或数字电路、逻辑电路、(多个)可编程处理器、(多个)可编程控制器、(多个)图形处理单元(GPU)、(多个)数字信号处理器(DSP)、(多个)专用集成电路(ASIC)、(多个)可编程逻辑器件(PLD)和/或(多个)现场可编程逻辑器件(FPLD)来实现。当阅读到本专利的装置或系统权利要求中的任一项涵盖纯软件和/或固件实现方式时，示例训练器300、示例机器学习引擎302和/或示例训练数据库306中的至少一者由此被明确地定义为包括包含该软件和/或固件的非瞬态计算机可读存储设备或存储盘(诸如，存储器、数字多功能盘(DVD)、紧凑盘(CD)、蓝光盘等)。更进一步地，图1的示例训练管理器126可包括作为图3中所图示的那些元件、过程和/或设备的附加或替代的一个或多个元件、过程和/或设备，和/或可包括任何或全部所图示的元件、过程和/或设备中的多于一个元件、过程和设备。如本文所使用，短语“通信”包括其各种变体，包含直接通信和/或通过一个或多个中间组件的间接通信，并且不需要直接物理(例如，有线)通信和/或持续通信，而是附加地包括以周期性间隔、预定间隔、非周期性间隔、和/或一次性事件来进行的选择性通信。
尽管图3中图示出实现图1的性能控制器124的示例方式，但图3中所图示的元件、过程和/或设备中的一者或多者可以被组合、被拆分、被重新布置、被省略、被消除和/或以任何其他方式被实现。进一步地，示例数据库310、用户存在检测器312、示例注视检测器316、示例用户交互检测器318、示例应用使用检测器320、示例操作模式选择器322、示例性能参数管理器328、和/或更一般地，图3的示例性能控制器124可由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，示例数据库310、用户存在检测器312、示例注视检测器316、示例用户交互检测器318、示例应用使用检测器320、示例操作模式选择器322、示例性能参数管理器328、和/或更一般地，示例性能控制器124中的任一者可以由一个或多个模拟或数字电路、逻辑电路、(多个)可编程处理器、(多个)可编程控制器、(多个)图形处理单元(GPU)、(多个)数字信号处理器(DSP)、(多个)专用集成电路(ASIC)、(多个)可编程逻辑器件(PLD)和/或(多个)现场可编程逻辑器件(FPLD)来实现。当阅读到本专利的装置或系统权利要求中的任一项涵盖纯软件和/或固件实现时，示例数据库310、用户存在检测器312、示例注视检测器316、示例用户交互检测器318、示例应用使用检测器320、示例操作模式选择器322和/或示例性能参数管理器328中的至少一者由此被明确地定义为包括包含该软件和/或固件的非瞬态计算机可读存储设备或存储盘(诸如，存储器、数字多功能盘(DVD)、紧凑盘(CD)、蓝光盘等)。更进一步地，图1的示例性能控制器124可以包括作为图3中所图示的那些元件、过程和/或设备的附加或替代的一个或多个元件、过程和/或设备，和/或可包括任何或全部所图示的元件、过程和设备中的多于一个元件、过程和设备。如本文所使用，短语“通信”包括其各种变体，包含直接通信和/或通过一个或多个中间组件的间接通信，并且不需要直接物理(例如，有线)通信和/或持续通信，而是附加地包括以周期性间隔、预定间隔、非周期性间隔、和/或一次性事件来进行的选择性通信。
图4是用于实现图1的计算设备的示例系统400的示意性图示。在该示例中，系统400包括芯片上系统(SoC)402和同伴管芯，该同伴管芯在本文中被称为基于视觉的分析器集成电路(IC)404。在一些示例中，SoC 402包括图1的处理器104。进一步地，在一些示例中，SoC 402和基于视觉的分析器IC 404执行与图1和/或图3的性能控制器124和/或训练管理器126的实现方式相关联的不同功能。更具体地，在一些示例中，基于视觉的分析器IC 404包括上下文引擎406，该上下文引擎406实现用户存在检测器312和示例注视检测器316，以执行对由图像传感器116生成的图像数据的初始分析，从而确定用户是否存在和/或对计算设备102进行参与(例如，观看设备102)。示例基于视觉的分析器IC 404被实现为与SoC 402分离的管芯，示例基于视觉的分析器IC 404具体被设计成用于针对“常开”实现方式以相对较低的功率(例如，大约10mW)执行此种基于视觉的分析。在对图像数据的分析之后，示例上下文引擎406可将用户存在和/或参与的确定的指示(例如，经由I2C串行总线)传送至SoC402的集成传感器中枢(ISH)408以供进一步处理(例如，以标识适当的操作模式并相应地调节对应的性能参数)。如所图示的示例所示，基于视觉的分析器IC 404通信地耦合在图像传感器116与SoC 402之间，以使得上下文引擎能够执行对图像数据的初始低功率分析。然而，当用户103发起涉及使用图像传感器116的操作(例如，用于视频会议呼叫)时，示例选择器410可将图像数据直接转发至SoC 402的情报处理单元(IPU)412并绕过上下文引擎406。
除了接收图像数据之外，示例基于视觉的分析器IC 404还可经由该基于视觉的分析器IC 404的通用输入/输出(GPIO)来接收强化的指示器和控制件输入414。进一步地，在一些示例中，基于视觉的分析器IC 404包括隐私和安全引擎416，以维护基于视觉的分析器IC 404的安全性和/或完整性。在一些此类示例中，隐私和安全引擎416还经由SoC 402的I/O接口418而与SoC 402通信。
图5-图7中示出了表示用于实现图1和/或图3的示例训练管理器126和/或示例性能控制器124的示例硬件逻辑、机器可读指令、硬件实现的状态机、和/或其任何组合的流程图。机器可读指令可以是用于由计算机处理器执行的一个或多个可执行程序或可执行程序的(多个)部分，该计算机处理器诸如结合图9和图10在下文讨论的示例处理器平台900、1000中示出的(多个)处理器912、1012。程序可被具体化在与(多个)处理器912、1012相关联的诸如CD-ROM、软盘、硬驱动器、DVD、蓝光盘或存储器之类的非瞬态计算机可读存储介质上所存储的软件中，但是整个程序和/或其部分可以替代地由除(多个)处理器912、1012之外的设备执行，和/或被具体化在固件或专用硬件中。进一步地，虽然参考图5-图7中所图示的流程图描述了示例程序，但是可以替代地使用实现示例训练管理器126和/或示例性能控制器124的许多其他方法。例如，可改变框的执行次序，和/或可改变、消除或组合所描述的框中的一些框。附加地或替代地，任何或所有框可以由被构造成在不执行软件或固件的情况下执行相应的操作的一个或多个硬件电路(例如，分立的和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)来实现。
本文中描述的机器可读指令能以压缩格式、加密格式、分段格式、编译格式、可执行格式、封装格式等中的一种或多种来存储。本文描述的机器可读指令可以作为可用于创建、制造和/或产生机器可执行指令的数据(例如，指令的部分、代码、代码表示等)来存储。例如，机器可读指令可以被分段并被存储在一个或多个存储设备和/或计算设备(例如，服务器)上。机器可读指令可能需要安装、修改、适配、更新、组合、补充、配置、解密、解压缩、拆包、分发、重新分配、编译等中的一项或多项，以使得它们由计算设备和/或其他机器直接可读取、可解释、和/或可执行。例如，机器可读指令可以存储在多个部分中，这些部分被单独压缩、加密并存储在单独的计算设备上，其中，这些部分在被解密、解压缩和组合时形成实现诸如本文所述的程序之类的程序的一组可执行指令。
在另一示例中，机器可读指令可以以它们可被计算机读取的状态存储，但是需要添加库(例如，动态链接库(DLL))、软件开发工具包(SDK)、应用编程接口(API)等，以便在特定的计算设备或其他设备上执行指令。在另一个示例中，在可整体或部分地执行机器可读指令和/或对应的(多个)程序之前，可能需要配置机器可读指令(例如，存储的设置、数据输入、记录的网络地址等)。因此，所公开的机器可读指令和/或对应的(多个)程序旨在包含此类机器可读指令和/或(多个)程序，而不管机器可读指令和/或(多个)程序在存储时或以其他方式处于静态或在传输中时的特定格式或状态如何。
本文所描述的机器可读指令可以由任何过去、现在或将来的指令语言、脚本语言、编程语言等表示。例如，机器可读指令可以用以下语言中的任何一种语言来表示：C、C++、Java、C#、Perl、Python、JavaScript、超文本标记语言(HTML)、结构化查询语言(SQL)、Swift等。
如上文所提及，可使用存储于非瞬态计算机和/或机器可读介质上的可执行指令(例如，计算机和/或机器可读指令)实现图5-图7的示例过程，非瞬态计算机和/或机器可读介质诸如，硬盘驱动器、闪存、只读存储器、紧凑盘、数字多功能盘、高速缓存、随机存取存储器和/或在其中存储信息达任何时长(例如，在扩展的时间段内、永久地、对于简短的实例、用于临时缓冲和/或用于对信息进行高速缓存)的任何其他存储设备或存储盘。如本文中所使用，术语非瞬态计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。
图5是表示当被执行时实现图1和/或图3的示例训练管理器126的示例机器可读指令的流程图。在图5的示例中，训练管理器126使用训练图像数据来训练图1和/或图3的示例性能控制器124，训练图像数据针对可以使用或可以不使用图1的示例计算设备102的一个或多个用户被生成。如本文中所公开，示例训练管理器126生成机器学习模型，该机器学习模型由图1和/或图3性能控制器124用来基于用户存在和/或对计算设备102的参与来控制该计算设备102的性能和功耗。
图5的示例指令可以由例如计算设备102、另一计算设备、和/或基于云的设备的一个或多个处理器执行。图5的示例指令可以与训练图像数据被训练管理器126接收基本上实时地执行，或者在训练图像数据被训练管理器126接收之后的某个时间执行。示例训练管理器126可以经由一个或多个有线或无线通信协议而与性能控制器124通信。
图5的示例程序开始于框502处，在框502处，示例训练器300访问训练图像数据304。训练图像数据304可以被存储在数据库306中。在一些示例中，针对计算设备102的一个或多个用户生成训练图像数据304。在一些此类示例中，训练图像数据304可以接收自性能控制器124和/或直接接收自计算设备102的图像传感器116。在一些其他示例中，针对并非计算设备102的(多个)用户的人来生成训练图像数据304。
在框504处，示例训练器300标识由训练图像数据304表示的面部特征。作为示例，基于训练图像数据304，训练器300标识诸如鼻子、耳朵、嘴巴、额头等之类的面部特征。在框506处，示例训练器300经由机器学习引擎302并基于训练图像数据304来生成一个或多个机器学习模型(例如，(多个)面部检测模型314)，从而基于检测到的面部特征来定义用户存在和/或参与。例如，训练器300使用训练图像数据304生成(多个)面部检测模型314，该(多个)面部检测模型314由性能控制器124用于确定用户(例如，用户103)是否存在于成像FoV 118中和/或正在观看(参与)显示屏114上所呈现的内容。
示例训练器300可以使用不同的数据集和/或具有不同的特异性水平的数据集继续训练性能控制器124。相应地，在框508处，示例训练器300确定是否存在附加的训练图像数据304。如果是，则控制返回至框502以重复该过程。例如，训练器300可以生成用于确定用户是否存在于成像FoV 118中的第一面部检测模型314和用于确定用户的面部是否转向图像传感器的右侧或左侧的第二面部检测模型314。如果不存在附加的训练数据，则示例过程结束。
图6是表示当由处理器执行时实现图1和/或图3的示例性能控制器124的示例机器可读指令的流程图。在图6的示例中，性能控制器124生成(多条)指令，该(多条)指令用于在不同的操作模式之间切换和/或更具体地用于基于用户(例如，用户103)的存在和/或参与来控制定义计算设备102的操作的特定性能参数。图6的示例指令可以由例如计算设备102、另一用户设备、和/或基于云的设备的一个或多个处理器执行。如上文所提及，在一些示例中，图6的指令中的至少一些由在低功率模式下操作的处理器(诸如，图4的基于视觉的分析器IC 404的上下文引擎406)执行，以降低处理和分析图像数据时的功耗。图6的示例指令可以与图像传感器116生成图像数据和/或与用户与计算设备102交互基本上实时地执行。
图6的示例程序开始于框602，在框602处，示例用户交互检测器318确定用户(例如，用户103)是否正在与计算设备102交互。如果是，则控制前进至框603，在框603处，示例操作模式选择器322选择交互操作模式。此后，在框604处，示例性能参数管理器328根据交互操作模式来设置性能参数。此后，控制前进到框626。返回至框602，如果用户103并非正在与设备交互，则控制前进至框606。在一些示例中，控制仅在自用户103停止与计算设备102交互起已流逝阈值时间段(例如，5秒、10秒、30秒等)之后才前进至框606。该延迟阈值用于防止在例如用户暂时中断与计算设备102的积极交互时在操作模式之间经常的切换。
在框606处，示例用户存在检测器312访问来自图像传感器116的图像数据308。在框608处，示例用户存在检测器312应用(多个)机器学习模型(例如，由训练管理器126生成的(多个)面部检测模型314)以基于图像数据308检测用户的存在。在框610处，示例用户存在检测器312确定是否检测到用户的存在。如果是，则控制前进至框612，在框612处，示例注视检测器316应用(多个)机器学习模型(例如，由训练管理器126生成的(多个)面部检测模型314)以基于图像数据308检测用户的注视方向132。在框614处，示例注视检测器316确定用户是否正在看向显示屏114。在一些示例中，此种确定基于注视方向132是否朝向屏幕114。另外地或替代地，只要显示屏114在用户FoV 134内，示例注视检测器316就可确定用户正在看向显示屏114。如果用户正在看向显示屏114，则控制前进至框617，在框617处，示例操作模式选择器322选择平衡操作模式。此后，在框618处，示例性能参数管理器328根据平衡操作模式来设置性能参数。
返回至框610，如果示例用户存在检测器312确定没有用户存在(例如，没有用户在图像数据308中被标识)，则控制前进至框616。类似地，如果示例注视检测器316(在框614处)确定用户并非正在看向显示屏114，则控制前进至框616。在一些示例中，控制仅在自上一次检测到用户存在(在框610处)或用户上一次观看显示屏114(在框614处确定)起已经流逝了阈值时间段(例如，5秒、10秒、30秒等)之后从框610和/或614前进至框616。此类延迟阈值用于防止当例如用户暂时离开成像FoV 118和/或暂时将目光从显示屏114移开但随后返回至对计算设备102进行参与时在操作模式之间经常的切换。
在框616处，示例应用使用检测器320确定用户发起的任务是否正在运行。如果是，则控制前进至框617，在框617处，示例操作模式选择器322再次选择平衡操作模式。此后，在框618处，示例性能参数管理器328根据平衡操作模式来设置性能参数。在一些示例中，基于用户正在看向显示屏114的确定(框614)选择的平衡操作模式和基于用户发起的任务正在运行的确定(框616)选择的平衡操作模式是同一操作模式(例如，相同的性能参数设置)。在其他示例中，平衡操作模式中的变化可基于用户是否正在观看显示屏114和/或是否存在正在进行的用户发起的任务来实现。此后，控制前进至框622。返回至框616，如果示例应用使用检测器320确定没有用户发起的任务正在运行，则控制前进至框619，在框619处，示例操作模式选择器322选择静默操作模式。此后，在框620处，示例性能参数管理器328根据静默操作模式来设置性能参数。此后，控制前进至框622。
在框622处，示例用户存在检测器312再次基于图像数据308来确定是否检测到用户存在。如果否(例如，用户被确定为缺席的)，则控制前进至框624，在框624处，示例性能参数管理器328根据风扇控制模式来设置性能参数。也就是说，在一些示例中，示例性能参数管理器328调节平衡操作模式(框618)或静默操作模式(框620)，以使得风扇在相对低功率下运行，由此减小(例如，防止)用户不存在时的风扇噪声。此后，控制前进至框626。如果在框622处示例用户存在检测器312确定用户存在，则控制直接前进至框626。在框626处，示例性能控制器124确定是否继续该过程。如果是，则控制返回至框602。否则，图6的示例过程结束。
图7是与图6的示例机器可读指令的实现方式对应的示例机器状态图。如在所图示的示例中所表示，每当用户交互检测器318检测到与计算设备102的用户交互时，性能参数管理器328就将计算设备102切换至与交互模式对应的第一机器状态702。如果示例用户交互检测器318确定用户停止与计算设备102进行积极交互，则性能参数管理器将计算设备102切换至与平衡模式对应的第二机器状态704。当处于平衡模式下时，示例用户存在检测器312和注视检测器316分析来自图像传感器116的图像数据，以确定用户的存在和/或参与。进一步地，示例应用使用检测器320确定是否存在任何正在进行的用户发起的任务。如果用户保持存在和参与(例如，正在观看显示屏114)和/或存在正在进行的用户发起的任务，则示例计算设备102保持处于平衡模式直到用户交互性再次被检测到。在另一方面，如果用户不再对计算设备102进行参与(例如，将目光从计算设备102移开)并且不存在正在进行的用户发起的任务，则示例性能参数管理器328将计算设备102切换至与静默模式对应的第三机器状态706。计算设备102随后保持处于静默模式直到用户再次与计算设备102交互(由此触发设备在交互模式下操作)或图像数据指示用户再次存在并对设备进行参与(例如，看向该设备)和/或存在正在进行的用户发起的任务(由此，触发设备在平衡模式下操作)。
图8是与图6的示例机器可读指令的实现方式对应的另一示例机器状态图。图8的状态图与图7中的状态图类似，在于图8包括与交互模式对应的第一机器状态802、与平衡模式对应的第二机器状态804、以及与静默模式对应的第三机器状态806。然而，图8在使得系统从一个状态切换至另一状态的条件和/或触发方面区别于图7。在图8的所图示的示例中，定义状态改变的条件与一个或多个事件的发生相对应，该一个或多个事件包括操作系统(OS)事件和基于视觉的(VB)事件。
在该示例中，OS事件与同计算设备102的用户交互(或非交互)相关联。更具体地，OS_USER_PRESENT(OS_用户_存在)事件对应于用户103被确定为正在与计算设备102交互(例如，积极地参与)(例如，如由用户交互检测318所检测)的用户接口设备(HID)事件。OS_USER_AWAY(OS_用户_离开)事件对应于HID空闲事件。在一些示例中，当在阈值时间段内(例如，10秒、30秒、1分钟、2分钟、5分钟等)没有HID事件被检测到时，则HID空闲事件发生。
进一步地，VB事件是基于对由图像传感器116提供的图像数据的分析的事件。在一些示例中，VB事件基于对用户103的存在或缺席的确定。在一些示例中，VB事件基于在用户正在观看计算设备102时对参与(例如，消极参与)的确定或在用户103并非正在看向计算设备时对非参与的确定。更具体地，在一些示例中，VB_USER_PRESENT(VB_用户_存在)事件对应于用户被检测为正在存在(例如，如由用户存在检测器312所确定)时。VB_USER_ENGAGED(VB_用户_参与)事件对应于用户存在且正在看向计算设备(例如，如由注视检测器316所确定)时。VB_USER_NOT_ENGAGED(VB_用户_不_参与)事件对应于用户被检测为正在存在但正在将目光从计算设备102移开时。在一些示例中，VB_USER_NOT_ENGAGED(VB_用户_不_参与)事件仅在用户保持将目光从计算设备移开的同时已经过阈值时间段(例如，1秒、5秒、15秒等)之后发生。最后，VB_USER_NOT_PRESENT(VB_用户_不_存在)事件对应于用户不存在于计算设备处(例如，用户存在检测器312未在图像传感器116的图像数据内标识出用户)时。在一些示例中，VB_USER_NOT_PRESENT(VB_用户_不_存在)事件仅在用户103未在图像数据内被检测到的阈值时间段(例如，5秒、15秒、30秒等)已经过之后发生。
在一些示例中，事件中的不同事件可触发计算设备102从一个状态(或模式)切换至另一状态(或模式)。在一些示例中，多个事件在同一时间的发生可定义在状态之间切换的特定条件。例如，如所图示的示例中所示，当计算设备102正在第一状态802(例如，交互模式)下操作时，将使得设备切换至第二状态804(例如，平衡模式)的一个条件包括以下两者均发生：发生(1)VB_USER_ENGAGED(VB_用户_参与)事件和(2)OS_USER_AWAY(OS_用户_离开)事件。在一些示例中，特定事件可与单独的正在进行的条件组合来触发状态之间的切换。例如，在以下两者均存在的情况下：(1)发生VB_USER_NOT_PRESENT(VB_用户_不_存在)事件和(2)用户任务存在(例如，存在正在进行的用户发起的任务)，示例计算设备102将从第一状态802切换至第二状态804。相比之下，当VB_USER_NOT_PRESENT(VB_用户_不_存在)事件的发生与仅存在已排程任务(例如，没有正在进行的用户发起的任务)的情形组合时，示例计算设备102将从第一状态802切换至第三状态806。
如在所图示的示例中所示，当用户103不存在时，平衡模式(第二状态804)和静默模式(第三状态806)两者可与风扇控制模式结合。相比之下，在该示例中，在交互模式(第一状态802)下用户103必定被假定为存在，以使得风扇控制选项被抑制。
图9是被构造用于执行图5的指令以实现图1和/或图3的示例训练管理器126的示例处理器平台900的框图。处理器平台900可以是例如服务器、个人计算机、工作站、自学习机(例如，神经网络)、移动设备(例如，蜂窝电话、智能电话、诸如iPadTM之类的平板设备)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
所图示示例的处理器平台900包括处理器912。所图示示例的处理器912是硬件。例如，处理器912可以由来自任何所需要的系列或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或控制器实现。硬件处理器可以是基于半导体的(例如，硅基)器件。在该示例中，处理器实现示例训练器300和示例机器学习引擎302。
所图示示例的处理器912包括本地存储器913(例如，高速缓存)。所图示示例的处理器912经由总线919与包括易失性存储器914和非易失性存储器916的主存储器进行通信。易失性存储器914可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、
Figure BDA0002698829150000341
动态随机存取存储器
Figure BDA0002698829150000342
和/或任何其他类型的随机存取存储器设备实现。非易失性存储器916可由闪存和/或任何其他所期望类型的存储器设备实现。由存储器控制器控制对主存储器914、916的访问。
所图示示例的处理器平台900还包括接口电路920。接口电路920可由任何类型的接口标准实现，诸如以太网接口、通用串行总线(USB)、
Figure BDA0002698829150000343
Figure BDA0002698829150000344
接口、近场通信(NFC)接口和/或PCI express(PCI快速)接口。
在所图示的示例中，一个或多个输入设备922被连接至接口电路920。(多个)输入设备922准许用户将数据和/或命令输入到处理器912中。(多个)输入设备可以由例如音频传感器、话筒、(静止的或视频)相机、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、等点鼠标(isopoint)和/或语音识别系统实现。
一个或多个输出设备924也被连接至所图示示例的接口电路920。输出设备924可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、面内切换(IPS)显示器、触摸屏等)、触觉输出设备、打印机和/或扬声器实现。因此，所图示示例的接口电路920典型地包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
所图示示例的接口电路920还包括诸如发射机、接收机、收发机、调制解调器、住宅网关、无线接入点、和/或网络接口之类的通信设备，以促进经由网络926与外部机器(例如，任何种类的计算设备)交换数据。通信可以经由例如以太网连接、数字订户线路(DSL)连接、电话线连接、同轴电缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统等。
所图示示例的处理器平台900还包括用于存储软件和/或数据的一个或多个大容量存储设备928。此类大容量存储设备928的示例包括软盘驱动器、硬驱动器盘、紧凑盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统、以及数字多功能盘(DVD)驱动器。
图5的机器可执行指令932可以被存储在大容量存储设备928中，存储在易失性存储器914中，存储在非易失性存储器916中，和/或存储在诸如CD或DVD之类的可移除非瞬态计算机可读存储介质上。
图10是被构造用于执行图6的指令以实现图1和/或图3的示例性能控制器124的示例处理器平台1000的框图。处理器平台1000可以是例如服务器、个人计算机、工作站、自学习机(例如，神经网络)、移动设备(例如，蜂窝电话、智能电话、诸如iPadTM之类的平板设备)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
所图示示例的处理器平台1000包括处理器1012。所图示示例的处理器1012是硬件。例如，处理器1012可以由来自任何所需要的系列或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或控制器实现。硬件处理器可以是基于半导体的(例如，硅基)器件。在该示例中，处理器实现示例用户存在检测器312、示例注视检测器316、示例用户交互检测器318、示例应用使用检测器320、示例操作模式选择器322、以及示例性能参数管理器328。如上文所描述，在其他示例中，至少用户存在检测器312和示例注视检测器316可被实现在与主处理器1012分开的分立的IC上。
所图示示例的处理器1012包括本地存储器1013(例如，高速缓存)。所图示示例的处理器1012经由总线1018而与包括易失性存储器1014和非易失性存储器1016的主存储器进行通信。易失性存储器1014可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、
Figure BDA0002698829150000361
动态随机存取存储器
Figure BDA0002698829150000362
和/或任何其他类型的随机存取存储器设备实现。非易失性存储器1016可由闪存和/或任何其他所期望类型的存储器设备实现。由存储器控制器控制对主存储器1014、1016的访问。
所图示示例的处理器平台1000还包括接口电路1020。接口电路1020可由任何类型的接口标准实现，诸如以太网接口、通用串行总线(USB)、
Figure BDA0002698829150000363
接口、近场通信(NFC)接口和/或PCI express(PCI快速)接口。
在所图示的示例中，一个或多个输入设备1022被连接至接口电路1020。(多个)输入设备1022准许用户将数据和/或命令输入到处理器1012中。(多个)输入设备可以由例如音频传感器、话筒、(静止的或视频)相机、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、等点鼠标和/或语音识别系统实现。
一个或多个输出设备1024也被连接至所图示示例的接口电路1020。输出设备1024可例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、面内切换(IPS)显示器、触摸屏等)、触觉输出设备、打印机和/或扬声器实现。因此，所图示示例的接口电路1020典型地包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
所图示示例的接口电路1020还包括诸如发射机、接收机、收发机、调制解调器、住宅网关、无线接入点、和/或网络接口之类的通信设备，以促进经由网络1026与外部机器(例如，任何种类的计算设备)交换数据。通信可以经由例如以太网连接、数字订户线路(DSL)连接、电话线连接、同轴电缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统等。
所图示示例的处理器平台1000还包括用于存储软件和/或数据的一个或多个大容量存储设备1028。此类大容量存储设备1028的示例包括软盘驱动器、硬驱动器盘、紧凑盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统、以及数字多功能盘(DVD)驱动器。
图6的机器可执行指令1032可以被存储在大容量存储设备1028中，存储在易失性存储器1014中，存储在非易失性存储器1016中，和/或存储在诸如CD或DVD之类的可移除非瞬态计算机可读存储介质上。
从前述内容将会领会，已公开了在用户参与计算设备的操作时、以相对较高的性能效率实现该设备的操作(以用于增强用户体验)、并且每当用户不存在和/或不参与该设备的操作时节约功率的示例方法、装置和制品。此种高效的操作模式通过基于对由设备的图像传感器捕捉的图像数据的分析、从而确定用户何时存在和/或参与计算设备来实现。在一些示例中，取决于用户对设备的参与的性质，计算设备可在与各种水平的性能和功耗相关联的多个不同的操作模式之间切换。例如，当用户正在积极地与设备交互时，设备可切换至提供最高水平的性能效率的交互操作模式。如果用户并非正在积极地与设备交互、但仍例如通过展现出对显示屏的内容的至少消极的兴趣(基于用户的注视方向)而进行参与，则可以实现平衡操作模式，平衡操作模式仍出于积极的用户体验而提供充足的性能但也适当地节约功率。在一些示例中，当用户基于正在进行用户发起的任务展现出对设备操作的兴趣、而不论该用户是否正在观看设备或者甚至是否存在于设备附近时，可以实现平衡操作模式。当用户不参与计算设备的操作时，设备可切换至节约更大量功率的静默模式。所公开的方法、装置和制品相应地涉及计算机功能的一个或多个改善。
本文中公开了基于用户存在来管理计算设备的功率和性能的示例方法和装置。进一步的示例及其组合包括以下内容：
示例1包括一种用于管理计算设备的功耗和性能的装置，该装置包括：参与检测器，该参与检测器用于基于由计算设备的图像传感器生成的图像数据或正在计算设备上运行的应用中的至少一者来确定用户对该计算设备的参与；以及操作模式选择器，该操作模式选择器用于基于用户在计算设备的操作中的参与水平来为该计算设备选择多个操作模式中的一个操作模式，该多个操作模式包括(1)与计算设备在第一性能水平和第一功率水平下操作的计算设备相关联的第一操作模式以及(2)与计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，第一性能水平高于第二性能水平，第一功率水平高于第二功率水平。
示例2包括如示例1所述的装置，进一步包括性能参数管理器，该性能参数管理器用于基于操作模式选择器选择第一操作模式还是第二操作模式来设置与计算设备相关联的多个性能参数。
示例3包括如示例2所述的装置，其中，性能参数管理器用于：在第一操作模式被选择时将第一限制赋值给计算设备的封装功率限制；以及在第二操作模式被选择时将第二限制赋值给计算设备的封装功率限制，第一限制高于第二限制。
示例4包括如示例2或3中任一项所述的装置，其中，性能参数管理器用于：在第一操作模式被选择时将第一值赋值给计算设备的能量性能偏好参数；以及在第二操作模式被选择时将第二值赋值给计算设备的能量性能偏好参数，第一值指示相比于第二值给予性能较高的优先级，第一值指示相比于第二值给予功率节省较低的优先级。
示例5包括如示例4所述的装置，其中，第二值对应于性能与功率节省之间优先级的平衡。
示例6包括如示例2-5中任一项所述的装置，其中，性能参数管理器用于：在第一操作模式被选择时为计算设备设置第一功率状态上限；以及在第二操作模式被选择时为计算设备设置第二功率状态上限，第一功率状态上限相比于第二功率上限实现更高功耗的功率状态。
示例7包括如示例6所述的装置，其中，第一功率状态上限不限制计算设备的可用功率状态，并且第二功率状态上限对应于计算设备的高效功率状态。
示例8包括如示例6所述的装置，其中，第一功率状态上限对应于计算设备的高效功率状态，并且第二功率状态上限对应于低于高效功率状态。
示例9包括如示例2-8中任一项所述的装置，其中，性能参数管理器用于：在第一操作模式被选择时为计算设备设置第一后台活动限制；以及在第二操作模式被选择时为计算设备设置第二后台活动限制，第一后台活动限制相比于第二后台活动限制更多地限制后台活动。
示例10包括如示例1-9中任一项所述的装置，进一步包括用户存在检测器，该用户存在检测器用于基于图像数据来确定用户相对于计算设备的存在。
示例11包括如示例10所述的装置，其中，操作模式选择器用于：在用户存在且对计算设备积极地参与时选择第一操作模式；以及在用户存在且对计算设备消极地参与时选择第二操作模式。
示例12包括如示例10所述的装置，其中，操作模式选择器用于：在用户存在且对计算设备进行参与时选择第一操作模式；以及在用户存在但不对计算设备进行参与时选择第二操作模式。
示例13包括如示例10所述的装置，其中，操作模式选择器用于：在用户缺席并且计算设备正在实现正在进行的用户发起的任务时选择第一操作模式；以及在用户缺席并且没有正在进行的用户发起的任务正在被实现时选择第二操作模式。
示例14包括如示例1-13中任一项所述的装置，其中，多个操作模式包括与计算设备在第三性能水平和第三功率水平下操作相关联的第三操作模式，第三性能水平低于第二性能水平，第三功率水平低于第二功率水平。
示例15包括如示例14所述的装置，其中，操作模式选择器用于：在用户对计算设备积极地参与时选择第一操作模式；在用户对计算设备消极地参与时选择第二操作模式；以及在用户不对计算设备进行参与时选择第三操作模式。
示例16包括如示例14或15中任一项所述的装置，其中，参与检测器包括用户交互检测器，该用户交互检测器用于基于对在计算设备处接收的用户输入的检测来检测用于对计算设备积极地参与。
示例17包括如示例14-16中任一项所述的装置，其中，参与检测器包括注视检测器，该注视检测器用于：基于图像数据确定用户的注视方向；以及基于用户的注视方向来确定用户是消极地参与还是不参与。
示例18包括如示例14-17中任一项所述的装置，其中，参与检测器包括应用使用检测器，该应用使用检测器用于基于在计算设备上运行的应用是否与正在进行的用户发起的任务相对应来确定所述用户是消极地参与还是不参与。
示例19包括一种非瞬态计算机可读介质，包括指令，这些指令在被执行时使得至少一个处理器至少用于：基于由计算设备的图像传感器生成的图像数据或正在计算设备上运行的应用中的至少一者来确定用户对计算设备的参与；以及基于用于在计算设备的操作中的参与水平来为计算设备选择多个操作模式中的一个操作模式，该多个操作模式包括(1)与计算设备在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，第一性能水平高于第二性能水平，第一功率水平高于第二功率水平。
示例20包括如示例19所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于基于对第一操作模式或第二操作模式的选择来设置与计算设备相关联的多个性能参数。
示例21包括如示例20所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在第一操作模式被选择时将第一限制赋值给计算设备的封装功率限制；以及在第二操作模式被选择时将第二限制赋值给计算设备的封装功率限制，第一限制高于第二限制。
示例22包括如示例20或21中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在第一操作模式被选择时将第一值赋值给计算设备的能量性能偏好参数；以及在第二操作模式被选择时将第二值赋值给计算设备的能量性能偏好参数，第一值指示相比于第二值给予性能较高的优先级，第一值指示相比于第二值给予功率节省较低的优先级。
示例23包括如示例22所述的非瞬态计算机可读介质，其中，第二值对应于性能与功率节省之间优先级的平衡。
示例24包括如示例20-23中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在第一操作模式被选择时为计算设备设置第一功率状态上限；以及在第二操作模式被选择时为计算设备设置第二功率状态上限，第一功率状态上限相比于第二功率上限实现更高功耗的功率状态。
示例25包括如示例24所述的非瞬态计算机可读介质，其中，第一功率状态上限不限制计算设备的可用功率状态，并且第二功率状态上限对应于计算设备的高效功率状态。
示例26包括如示例24所述的非瞬态计算机可读介质，其中，第一功率状态上限对应于计算设备的高效功率状态，并且第二功率状态上限对应于低于高效功率状态。
示例27包括如示例20-26中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在第一操作模式被选择时为计算设备设置第一后台活动限制；以及在第二操作模式被选择时为计算设备设置第二后台活动限制，第一后台活动限制相比于第二后台活动限制更多地限制后台活动。
示例28包括如示例19-27中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于基于图像数据来确定用户相对于计算设备的存在。
示例29包括如示例28所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在用户存在且对计算设备积极地参与时选择第一操作模式；以及在用户存在且对计算设备消极地参与时选择第二操作模式。
示例30包括如示例28所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在用户存在且对计算设备进行参与时选择第一操作模式；以及在用户存在但不对计算设备进行参与时选择第二操作模式。
示例31包括如示例28所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在用户缺席并且计算设备正在实现正在进行的用户发起的任务时选择第一操作模式；以及在用户缺席并且没有正在进行的用户发起的任务正在被实现时选择第二操作模式。
示例32包括如示例19-31中任一项所述的非瞬态计算机可读介质，其中，多个操作模式包括与计算设备在第三性能水平和第三功率水平下操作相关联的第三操作模式，第三性能水平低于第二性能水平，第三功率水平低于第二功率水平。
示例33包括如示例32所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：在用户对计算设备积极地参与时选择第一操作模式；在用户对计算设备消极地参与时选择第二操作模式；以及在用户不对计算设备进行参与时选择第三操作模式。
示例34包括如示例32或33中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于基于对在计算设备处接收的用户输入的检测来检测用户对计算设备积极地参与。
示例35包括如示例32-34中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于：基于图像数据确定用户的注视方向；以及基于用户的注视方向来确定用户是消极地参与还是不参与。
示例36包括如示例32-35中任一项所述的非瞬态计算机可读介质，其中，指令进一步使得至少一个处理器用于基于在计算设备上运行的应用是否与正在进行的用户发起的任务相对应来确定所述用户是消极地参与还是不参与。
示例37包括一种用于管理计算设备的功耗和性能的方法，该方法包括：通过利用至少一个处理器执行指令，基于由计算设备的图像传感器生成的图像数据或正在计算设备上运行的应用中的至少一者来确定用户对计算设备的参与；以及通过利用所述至少一个处理器执行指令，基于用户在计算设备的操作中的参与水平来为计算设备选择多个操作模式中的一个操作模式，该多个操作模式包括(1)与计算设备在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，第一性能水平高于第二性能水平，第一功率水平高于第二功率水平。
示例38包括如示例37所述的方法，进一步包括：基于对第一操作模式或第二操作模式的选择来设置与计算设备相关联的多个性能参数。
示例39包括如示例38所述的方法，其中，进一步包括：在第一操作模式被选择时将第一限制赋值给计算设备的封装功率限制；以及在第二操作模式被选择时将第二限制赋值给计算设备的封装功率限制，第一限制高于第二限制。
示例40包括如示例38或39中任一项所述的方法，进一步包括：在第一操作模式被选择时将第一值赋值给计算设备的能量性能偏好参数；以及在第二操作模式被选择时将第二值赋值给计算设备的能量性能偏好参数，第一值指示相比于第二值给予性能较高的优先级，第一值指示相比于第二值给予功率节省较低的优先级。
示例41包括如示例40所述的方法，其中，第二值对应于性能与功率节省之间优先级的平衡。
示例42包括如示例38-41中任一项所述的方法，进一步包括：在第一操作模式被选择时为计算设备设置第一功率状态上限；以及在第二操作模式被选择时为计算设备设置第二功率状态上限，第一功率状态上限相比于第二功率上限实现更高功耗的功率状态。
示例43包括如示例42所述的方法，其中，第一功率状态上限不限制计算设备的可用功率状态，并且第二功率状态上限对应于计算设备的高效功率状态。
示例44包括如示例42所述的方法，其中，第一功率状态上限对应于计算设备的高效功率状态，并且第二功率状态上限对应于低于高效功率状态。
示例45包括如示例38-44中任一项所述的方法，进一步包括：在第一操作模式被选择时为计算设备设置第一后台活动限制；以及在第二操作模式被选择时为计算设备设置第二后台活动限制，第一后台活动限制相比于第二后台活动限制更多地限制后台活动。
示例46包括如示例37-45中任一项所述的方法，进一步包括基于图像数据来确定用户相对于计算设备的存在。
示例47包括如示例46所述的方法，进一步包括：在用户存在且对计算设备积极地参与时选择第一操作模式；以及在用户存在且对计算设备消极地参与时选择第二操作模式。
示例48包括如示例46所述的方法，进一步包括：在用户存在且对计算设备进行参与时选择第一操作模式；以及在用户存在但不对计算设备进行参与时选择第二操作模式。
示例49包括如示例46所述的方法，进一步包括：在用户缺席并且计算设备正在实现正在进行的用户发起的任务时选择第一操作模式；以及在用户缺席并且没有正在进行的用户发起的任务正在被实现时选择第二操作模式。
示例50包括如示例37-49中任一项所述的方法，其中，多个操作模式包括与计算设备在第三性能水平和第三功率水平下操作相关联的第三操作模式，第三性能水平低于第二性能水平，第三功率水平低于第二功率水平。
示例51包括如示例50所述的方法，进一步包括：在用户对计算设备积极地参与时选择第一操作模式；在用户对计算设备消极地参与时选择第二操作模式；以及在用户不对计算设备进行参与时选择第三操作模式。
示例52包括如示例50或51中任一项所述的方法，进一步包括基于对在计算设备处接收的用户输入的检测来检测用户对计算设备积极地参与。
示例53包括如示例50-52中任一项所述的方法，进一步包括：基于图像数据确定用户的注视方向；以及基于用户的注视方向来确定用户是消极地参与还是不参与。
示例54包括如示例50-53中任一项所述的方法，进一步包括：基于在计算设备上运行的应用是否对应于正在进行的用户发起的任务来确定用户是消极地参与还是不参与。
“包含”和“包括”(及其所有形式和时态)在本文中用作开放式术语。因此，每当权利要求将任何形式的“包含”或“包括”(例如，包括、包含、包括有、包含有、具有等)用作前序部分或用于任何种类的权利要求叙述内时，要理解的是，附加的要素、项等可以存在而不超出对应权利要求或叙述的范围。如本文中所使用，当短语“至少”被用作例如权利要求的前序部分中的过渡术语时，它以与术语“包含”和“包括”是开放式的相同的方式是开放式的。当例如以诸如A、B和/或C之类的形式使用术语“和/或”时，指的是A、B、C的任何组合或子集，诸如(1)单独的A、(2)单独的B、(3)单独的C、(4)A与B、(5)A与C、(6)B与C、以及(7)A与B与C。如本文中在描述结构、组件、项、对象和/或事物的上下文中所使用，短语“A和B中的至少一者”旨在是指包括以下各项中的任一项的实现方式：(1)至少一个A、(2)至少一个B、以及(3)至少一个A和至少一个B。类似地，如本文中在描述结构、组件、项、对象和/或事物的上下文中所使用，短语“A或B中的至少一者”旨在是指包括以下各项中的任一项的实现方式：(1)至少一个A、(2)至少一个B、以及(3)至少一个A和至少一个B。如本文中在描述过程、指令、动作、活动和/或步骤的处理或执行的上下文中所使用，短语“A和B中的至少一者”旨在是指包括以下各项中的任一项的实现方式：(1)至少一个A、(2)至少一个B、以及(3)至少一个A和至少一个B。类似地，如本文中在描述过程、指令、动作、活动和/或步骤的处理或执行的上下文中所使用，短语“A或B中的至少一者”旨在是指包括以下各项中的任一项的实现方式：(1)至少一个A、(2)至少一个B、以及(3)至少一个A和至少一个B。
如本文所使用，单数引用(例如，“一个(a)”、“一个(an)”、“第一”、“第二”等)不排除复数。本文所使用的术语“一个(a或an)”实体是指一个或多个该实体。术语“一个(a)”(或“一个(an)”)、“一个或多个”和“至少一个”可以在本文中互换使用。此外，尽管单独列出，但多个装置、元件或方法动作可由例如单个单元或处理器来实现。另外，虽然各个特征可以被包括在不同的示例或权利要求中，但是这些特征可能被组合，并且在不同的示例或权利要求中的包含并不意味着特征的组合是不可行和/或不是有利的。
尽管本文中已公开了某些示例方法、设备和制品，但本专利涵盖的范围并不限于此。相反，本专利涵盖落入本专利权利要求范围内的全部方法、设备和制品。
所附的权利要求由此通过本参考被并入到具体实施方式中，其中每一项权利要求其本身作为本公开的单独的实施例。

Claims (25)

1.一种用于管理计算设备的功耗和性能的装置，所述装置包括：
参与检测器，用于基于由所述计算设备的图像传感器生成的图像数据或正在所述计算设备上运行的应用中的至少一者来确定用户对所述计算设备的参与；以及
操作模式选择器，用于基于所述用户在所述计算设备的操作中的参与水平来为所述计算设备选择多个操作模式中的一个操作模式，所述多个操作模式包括(1)与所述计算设备在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与所述计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，所述第一性能水平高于所述第二性能水平，所述第一功率水平高于所述第二功率水平。
2.如权利要求1所述的装置，进一步包括性能参数管理器，所述性能参数管理器用于基于所述操作模式选择器选择所述第一操作模式还是所述第二操作模式来设置与所述计算设备相关联的多个性能参数。
3.如权利要求2所述的装置，其中，所述性能参数管理器用于：
在所述第一操作模式被选择时将第一限制赋值给所述计算设备的封装功率限制；以及
在所述第二操作模式被选择时将第二限制赋值给所述计算设备的所述封装功率限制，所述第一限制高于所述第二限制。
4.如权利要求2所述的装置，其中，所述性能参数管理器用于：
在所述第一操作模式被选择时将第一值赋值给所述计算设备的能量性能偏好参数；以及
在所述第二操作模式被选择时将第二值赋值给所述计算设备的所述能量性能偏好参数，所述第一值指示相比于所述第二值给予性能较高的优先级，所述第一值指示相比于所述第二值给予功率节省较低的优先级。
5.如权利要求4所述的装置，其中，所述第二值对应于性能与功率节省之间优先级的平衡。
6.如权利要求2所述的装置，其中，所述性能参数管理器用于：
在所述第一操作模式被选择时为所述计算设备设置第一功率状态上限；以及
在所述第二操作模式被选择时为所述计算设备设置第二功率状态上限，所述第一功率状态上限相比于所述第二功率上限实现较高功耗的功率状态。
7.如权利要求6所述的装置，其中，所述第一功率状态上限不限制所述计算设备的可用功率状态，并且所述第二功率状态上限对应于所述计算设备的高效功率状态。
8.如权利要求6所述的装置，其中，所述第一功率状态上限对应于所述计算设备的高效功率状态，并且所述第二功率状态上限对应于低于所述高效功率状态。
9.如权利要求2所述的装置，其中，所述性能参数管理器用于：
在所述第一操作模式被选择时为所述计算设备设置第一后台活动限制；以及
在所述第二操作模式被选择时为所述计算设备设置第二后台活动限制，所述第一后台活动限制相比于所述第二后台活动限制更多地限制后台活动。
10.如权利要求1-9中任一项所述的装置，进一步包括用户存在检测器，所述用户存在检测器用于基于所述图像数据来确定所述用户相对于所述计算设备的存在。
11.如权利要求10所述的装置，其中，所述操作模式选择器用于：
在所述用户存在且对所述计算设备积极地参与时选择所述第一操作模式；以及
在所述用户存在且对所述计算设备消极地参与时选择所述第二操作模式。
12.如权利要求10所述的装置，其中，所述操作模式选择器用于：
在所述用户存在且对所述计算设备进行参与时选择所述第一操作模式；以及
在所述用户存在但不对所述计算设备进行参与时选择所述第二操作模式。
13.如权利要求10所述的装置，其中，所述操作模式选择器用于：
在所述用户缺席并且所述计算设备正在实现正在进行的用户发起的任务时选择所述第一操作模式；以及
在所述用户缺席并且没有正在进行的用户发起的任务正在被实现时选择所述第二操作模式。
14.如权利要求1-9中任一项所述的装置，其中，所述多个操作模式包括与所述计算设备在第三性能水平和第三功率水平下操作相关联的第三操作模式，所述第三性能水平低于所述第二性能水平，所述第三功率水平低于所述第二功率水平。
15.如权利要求14所述的装置，其中，所述操作模式选择器用于：
在所述用户对所述计算设备积极地参与时选择所述第一操作模式；
在所述用户对所述计算设备消极地参与时选择所述第二操作模式；以及
在所述用户不对所述计算设备进行参与时选择所述第三操作模式。
16.如权利要求14所述的装置，其中，所述参与检测器包括用户交互检测器，所述用户交互检测器用于基于对在所述计算设备处接收的用户输入的检测来检测用户对所述计算设备积极地参与。
17.如权利要求14所述的装置，其中，所述参与检测器包括注视检测器，所述注视检测器用于：
基于所述图像数据确定所述用户的注视方向；以及
基于所述用户的所述注视方向来确定用户是消极地参与还是不参与。
18.如权利要求14所述的装置，其中，所述参与检测器包括应用使用检测器，所述应用使用检测器用于基于在所述计算设备上运行的应用是否与正在进行的用户发起的任务相对应来确定所述用户是消极地参与还是不参与。
19.一种计算机可读介质，包括指令，所述指令当被执行时使得至少一个处理器至少用于：
基于由计算设备的图像传感器生成的图像数据或正在计算设备上运行的应用中的至少一者来确定用户对所述计算设备的参与；以及
基于所述用户在所述计算设备的操作中的参与水平来为所述计算设备选择多个操作模式中的一个操作模式，所述多个操作模式包括(1)与所述计算设备在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与所述计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，所述第一性能水平高于所述第二性能水平，所述第一功率水平高于所述第二功率水平。
20.如权利要求19所述的计算机可读介质，其中，所述指令进一步使得所述至少一个处理器用于基于所述图像数据来确定所述用户相对于所述计算设备的存在。
21.如权利要求20所述的计算机可读介质，其中，所述指令进一步使得所述至少一个处理器用于：
在所述用户存在且对所述计算设备积极地参与时选择所述第一操作模式；以及
在所述用户存在且对所述计算设备消极地参与时选择所述第二操作模式。
22.如权利要求20所述的计算机可读介质，其中，所述指令进一步使得所述至少一个处理器用于：
在所述用户存在且对所述计算设备进行参与时选择所述第一操作模式；以及
在所述用户存在但不对所述计算设备进行参与时选择所述第二操作模式。
23.如权利要求20所述的计算机可读介质，其中，所述指令进一步使得所述至少一个处理器用于：
在所述用户缺席并且所述计算设备正在实现正在进行的用户发起的任务时选择所述第一操作模式；以及
在所述用户缺席并且没有正在进行的用户发起的任务正在被实现时选择所述第二操作模式。
24.一种用于管理计算设备的功耗和性能的方法，所述方法包括：
通过利用至少一个处理器执行指令，基于由所述计算设备的图像传感器生成的图像数据或正在所述计算设备上运行的应用中的至少一者来确定用户对所述计算设备的参与；以及
通过利用所述至少一个处理器执行指令，基于所述用户在所述计算设备的操作中的参与水平来为所述计算设备选择多个操作模式中的一个操作模式，所述多个操作模式包括(1)与所述计算设备在第一性能水平和第一功率水平下操作相关联的第一操作模式以及(2)与所述计算设备在第二性能水平和第二功率水平下操作相关联的第二操作模式，所述第一性能水平高于所述第二性能水平，所述第一功率水平高于所述第二功率水平。
25.如权利要求24所述的方法，进一步包括：基于对所述第一操作模式或所述第二操作模式的选择来设置与所述计算设备相关联的多个性能参数。
CN202011015222.2A 2019-11-11 2020-09-24 用于基于用户存在来管理计算设备的功率和性能的方法和装置 Pending CN112783307A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962933944P 2019-11-11 2019-11-11
US62/933,944 2019-11-11
US16/728,899 2019-12-27
US16/728,899 US11733761B2 (en) 2019-11-11 2019-12-27 Methods and apparatus to manage power and performance of computing devices based on user presence

Publications (1)

Publication Number Publication Date
CN112783307A true CN112783307A (zh) 2021-05-11

Family

ID=70326984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011015222.2A Pending CN112783307A (zh) 2019-11-11 2020-09-24 用于基于用户存在来管理计算设备的功率和性能的方法和装置

Country Status (3)

Country Link
US (1) US11733761B2 (zh)
EP (1) EP3819745A1 (zh)
CN (1) CN112783307A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US11068558B2 (en) * 2018-12-21 2021-07-20 Business Objects Software Ltd Managing data for rendering visualizations
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11789565B2 (en) 2020-08-18 2023-10-17 Intel Corporation Lid controller hub architecture for improved touch experiences
US20210109585A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve user experience on computing devices
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
EP4178232A1 (en) * 2021-11-04 2023-05-10 Abb Schweiz Ag Managing the operation of applications on mobile computing devices

Family Cites Families (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD324036S (en) 1989-12-06 1992-02-18 Kabushi Kaisha Toshiba Combined electronic computer and telephone
US5173940A (en) * 1991-06-21 1992-12-22 Compaq Computer Corporation Keyboard activated screen blanking
USD376791S (en) 1992-08-04 1996-12-24 Hunt Holdings, Inc. Mouse pad
USD359275S (en) 1992-09-18 1995-06-13 International Business Machines Corporation Portable personal computer
USD389129S (en) 1996-04-24 1998-01-13 Stratos Product Development Group, Inc. Touch pad
US5835083A (en) 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
USD388774S (en) 1996-07-01 1998-01-06 Stratos Product Development Group Touch pad with scroll bars
JPH10268959A (ja) * 1997-03-24 1998-10-09 Canon Inc 情報処理装置及びその方法
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
USD434773S (en) 1999-05-21 2000-12-05 Kabushiki Kaisha Toshiba Portion of an electronic computer
USD444462S1 (en) 1999-12-28 2001-07-03 Sharp Kabushiki Kaisha Electronic computer
USD433024S (en) 2000-01-21 2000-10-31 Hewlett-Packard Company Input device for a portable computing device
JP3499798B2 (ja) 2000-03-13 2004-02-23 シャープ株式会社 液晶情報表示装置
USD462967S1 (en) 2000-03-16 2002-09-17 Kabushiki Kaisha Toshiba Portion of an electronic computer
USD449307S1 (en) 2000-03-24 2001-10-16 Hiatchi, Ltd. Combined touch pad and buttons for a portable computer
US7210099B2 (en) 2000-06-12 2007-04-24 Softview Llc Resolution independent vector display of internet content
USD453508S1 (en) 2000-07-19 2002-02-12 Kabushiki Kaisha Toshiba Electronic computer
JP2002071833A (ja) 2000-08-31 2002-03-12 Ricoh Co Ltd 人体検知センサ装置、画像形成装置、人体検知センサ駆動方法及び記憶媒体
US6657647B1 (en) 2000-09-25 2003-12-02 Xoucin, Inc. Controlling the order in which content is displayed in a browser
US7559034B1 (en) 2000-10-19 2009-07-07 DG FastChannel, Inc. Method and system for using a hyperlink, banner, or graphical icon to initiate the overlaying of an object on a window
US6659516B2 (en) 2001-01-05 2003-12-09 Apple Computer, Inc. Locking system for a portable computer
USD454126S1 (en) 2001-04-10 2002-03-05 Hewlett-Packard Company Portable computing device
US6690365B2 (en) 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
JP3951727B2 (ja) 2002-02-06 2007-08-01 松下電器産業株式会社 情報処理装置
US6760649B2 (en) 2002-05-22 2004-07-06 International Business Machines Corporation Thermal management of a laptop computer
USD478089S1 (en) 2002-08-06 2003-08-05 Sony Corporation Computer
USD480089S1 (en) 2002-08-09 2003-09-30 Hewlett-Packard Development Company, L.P. Input device for portable computer
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7379560B2 (en) 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management
USD494161S1 (en) 2003-03-11 2004-08-10 Fujitsu Limited Personal computer
US20040252101A1 (en) 2003-06-12 2004-12-16 International Business Machines Corporation Input device that detects user's proximity
US7117380B2 (en) 2003-09-30 2006-10-03 International Business Machines Corporation Apparatus, system, and method for autonomic power adjustment in an electronic device
JP2005221907A (ja) 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 表示装置
BRPI0508822A (pt) 2004-03-18 2007-08-07 Koninkl Philips Electronics Nv aparelho mostrador de varredura, e, método para operar o mesmo
USD517542S1 (en) 2004-05-14 2006-03-21 Lg Electronics Inc. Notebook computer
USD504129S1 (en) 2004-06-07 2005-04-19 Hewlett-Packard Development Company, L.P. Laptop computer
USD518042S1 (en) 2004-08-18 2006-03-28 Fujitsu Limited Personal computer
KR100677420B1 (ko) 2004-12-30 2007-02-02 엘지전자 주식회사 본체 회전 타입 휴대 단말기
US20060192775A1 (en) 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
USD534531S1 (en) 2005-06-24 2007-01-02 Sony Corporation Computer
US7697827B2 (en) * 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
DE112006003817T5 (de) 2006-03-29 2009-02-12 Intel Corporation, Santa Clara Vorrichtung und Verfahren für ein mobiles Personal Computer (MPC)-System mit einem eingebauten Scanner
US20150121287A1 (en) 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
JP4514830B2 (ja) 2006-08-15 2010-07-28 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US20080112571A1 (en) 2006-11-09 2008-05-15 Thomas Michael Bradicich Noise control in proximity to a computer system
US8195383B2 (en) 2006-11-29 2012-06-05 The Boeing Company System and method for electronic moving map and aeronautical context display
USD577013S1 (en) 2006-11-30 2008-09-16 Hewlett-Packard Development Company, L.P. Laptop computer
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20080301300A1 (en) 2007-06-01 2008-12-04 Microsoft Corporation Predictive asynchronous web pre-fetch
USD591737S1 (en) 2007-06-13 2009-05-05 Fujitsu Limited Personal computer
TW200917136A (en) * 2007-10-03 2009-04-16 Micro Star Int Co Ltd Method of determining power-saving mode for multimedia applications
US20090165125A1 (en) 2007-12-19 2009-06-25 Research In Motion Limited System and method for controlling user access to a computing device
USD604294S1 (en) 2008-01-14 2009-11-17 Apple Inc. Electronic device
CN101656060A (zh) 2008-08-18 2010-02-24 鸿富锦精密工业（深圳）有限公司 屏幕显示节能系统及方法
USD608380S1 (en) 2008-08-29 2010-01-19 Kabushiki Kaisha Toshiba Data projector with screen
USD607449S1 (en) 2008-09-04 2010-01-05 Sony Corporation Computer
USD616433S1 (en) 2008-09-24 2010-05-25 Fujitsu Limited Personal computer
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
USD604290S1 (en) 2008-10-10 2009-11-17 Apple Inc. Portable computer
US8468377B2 (en) 2008-10-22 2013-06-18 Microsoft Corporation Conserving power using predictive modelling and signaling
DE112008004166B4 (de) 2008-12-15 2017-07-06 Hewlett-Packard Development Company, L.P. Temperaturschwelleneinstellung auf Basis von Menschenerfassung
US8139032B2 (en) 2008-12-22 2012-03-20 Kuo-Hsin Su Power-saving computer mouse
USD612830S1 (en) 2009-02-18 2010-03-30 Samsung Electronics Co., Ltd. Mobile phone
RU2534073C2 (ru) 2009-02-20 2014-11-27 Конинклейке Филипс Электроникс Н.В. Система, способ и аппарат для инструктирования устройству входить в активный режим
US8482626B2 (en) 2009-04-07 2013-07-09 Mediatek Inc. Digital camera and image capturing method
US9444894B2 (en) 2009-04-15 2016-09-13 Wyse Technology Llc System and method for communicating events at a server to a remote device
US8633904B2 (en) 2009-04-24 2014-01-21 Cypress Semiconductor Corporation Touch identification for multi-touch technology
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US20110055752A1 (en) 2009-06-04 2011-03-03 Rubinstein Jonathan J Method and Apparatus for Displaying and Auto-Correcting an Over-Scroll State on a Computing Device
USD614180S1 (en) 2009-06-09 2010-04-20 Cheng Uei Precision Industry Co., Ltd. Netbook computer
USD658171S1 (en) 2009-08-26 2012-04-24 Sony Corporation Computer
USD631039S1 (en) 2009-09-01 2011-01-18 Fujitsu Limited Personal computer
USD644641S1 (en) 2009-10-13 2011-09-06 Apple Inc. Electronic device
USD616882S1 (en) 2009-11-23 2010-06-01 Dell Products L.P. Information handling system housing
JP5602155B2 (ja) 2009-12-14 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置および入力方法
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
DE202011110880U1 (de) 2010-04-12 2017-01-20 Google Inc. Kollaborative Cursors in einem gehosteten Textverarbeitungsprogramm
US8581974B2 (en) 2010-05-06 2013-11-12 Aptina Imaging Corporation Systems and methods for presence detection
US9113190B2 (en) * 2010-06-04 2015-08-18 Microsoft Technology Licensing, Llc Controlling power levels of electronic devices through user interaction
WO2012005731A1 (en) 2010-07-08 2012-01-12 Hewlett-Packard Development Company, L.P. Electronic device thermal management
US20120032894A1 (en) 2010-08-06 2012-02-09 Nima Parivar Intelligent management for an electronic device
USD645857S1 (en) 2010-08-11 2011-09-27 Samsung Electronics Co., Ltd. Notebook computer
US20120054670A1 (en) 2010-08-27 2012-03-01 Nokia Corporation Apparatus and method for scrolling displayed information
US20120062470A1 (en) 2010-09-10 2012-03-15 Chang Ray L Power Management
TWI476571B (zh) 2010-09-30 2015-03-11 Ibm 資訊處理系統中裝置區域之風扇控制方法及風扇控制裝置
US9526006B2 (en) 2010-11-29 2016-12-20 Biocatch Ltd. System, method, and device of detecting identity of a user of an electronic device
DE112010006037B4 (de) 2010-11-30 2019-03-07 Mitsubishi Electric Corp. Spracherkennungsvorrichtung und Navigationssystem
USD659134S1 (en) 2010-12-30 2012-05-08 Motorola Mobility, Inc. Computer terminal
US8682388B2 (en) 2010-12-31 2014-03-25 Motorola Mobility Llc Mobile device and method for proximity detection verification
US9830831B2 (en) 2011-01-05 2017-11-28 Pathway Innovations And Technologies, Inc. Mobile handwriting recording instrument and group lecture delivery and response system using the same
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
USD687831S1 (en) 2011-02-12 2013-08-13 Samsung Electronics Co., Ltd. Notebook computer
US8717318B2 (en) 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
CN102762074A (zh) 2011-04-25 2012-10-31 昆山广兴电子有限公司 用于可携式电子装置的散热系统
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP2013003911A (ja) 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム
US8872799B2 (en) 2011-06-20 2014-10-28 The Regents Of The University Of California Scalable distributed/cooperative/collaborative paradigm for multi-user interaction with projection-based display walls
US8996987B2 (en) 2011-06-30 2015-03-31 Apple Inc. List view optimization
US8566696B1 (en) 2011-07-14 2013-10-22 Google Inc. Predicting user navigation events
US9733789B2 (en) 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
CN103907113A (zh) 2011-09-14 2014-07-02 诺基亚公司 用于分布式脚本处理的方法和装置
USD669068S1 (en) 2011-09-19 2012-10-16 J. P. Sá Couto Laptop computer
US9607420B2 (en) 2011-11-14 2017-03-28 Microsoft Technology Licensing, Llc Animations for scroll and zoom
WO2013081632A1 (en) 2011-12-02 2013-06-06 Intel Corporation Techniques for notebook hinge sensors
WO2013089693A1 (en) 2011-12-14 2013-06-20 Intel Corporation Gaze activated content transfer system
US20130173946A1 (en) * 2011-12-29 2013-07-04 Efraim Rotem Controlling power consumption through multiple power limits over multiple time intervals
US9569557B2 (en) 2011-12-29 2017-02-14 Chegg, Inc. Cache management in HTML eReading application
US8959431B2 (en) 2012-01-16 2015-02-17 Microsoft Corporation Low resolution placeholder content for document navigation
US20150220149A1 (en) 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US20150220150A1 (en) 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
KR101922589B1 (ko) 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
US20130222329A1 (en) 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
EP2836889A4 (en) 2012-04-12 2015-11-18 Intel Corp SELECTIVE BACKLIGHT OF A SCREEN BASED ON OCULOMETRY
US9304520B2 (en) 2012-04-27 2016-04-05 Hewlett-Packard Development Company, L.P. Thermal management
USD691995S1 (en) 2012-05-31 2013-10-22 Intel Corporation Electronic computer with partially transparent input device
USD701501S1 (en) 2012-05-31 2014-03-25 Intel Corporation Electronic computer with an at least partially transparent input device
USD694232S1 (en) 2012-05-31 2013-11-26 Intel Corporation Electronic computer with partially transparent input device
USD698350S1 (en) 2012-05-31 2014-01-28 Intel Corporation Electronic computer with an at least partially transparent input device
US9098258B2 (en) * 2012-06-08 2015-08-04 Apple Inc. Thermal-based acoustic management
US8949639B2 (en) 2012-06-29 2015-02-03 Intel Corporation User behavior adaptive sensing scheme for efficient power consumption management
US20150185909A1 (en) 2012-07-06 2015-07-02 Freescale Semiconductor, Inc. Method of sensing a user input to a capacitive touch sensor, a capacitive touch sensor controller, an input device and an apparatus
US9052896B2 (en) 2012-07-20 2015-06-09 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20150193395A1 (en) 2012-07-30 2015-07-09 Google Inc. Predictive link pre-loading
USD698348S1 (en) 2012-08-06 2014-01-28 Hewlett-Packard Development Company, L.P. Computing device
USD706769S1 (en) 2012-08-10 2014-06-10 Kabushiki Kaisha Toshiba Electronic computer
USD706767S1 (en) 2012-08-10 2014-06-10 Kabushiki Kaisha Toshiba Electronic computer
USD706768S1 (en) 2012-08-10 2014-06-10 Kabushiki Kaisha Toshiba Electronic computer
USD706772S1 (en) 2012-08-29 2014-06-10 Kabushiki Kaisha Toshiba Electronic computer
USD716795S1 (en) 2012-09-06 2014-11-04 Asustek Computer Inc. Portable electronic device
US20140085311A1 (en) 2012-09-24 2014-03-27 Co-Operwrite Limited Method and system for providing animated font for character and command input to a computer
JP6056323B2 (ja) 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
USD708178S1 (en) 2012-09-24 2014-07-01 Panasonic Corporation Portable computer
US9311909B2 (en) 2012-09-28 2016-04-12 Microsoft Technology Licensing, Llc Sensed sound level based fan speed adjustment
USD715793S1 (en) 2012-10-04 2014-10-21 Acer Incorporated Notebook computer
USD692875S1 (en) 2012-10-05 2013-11-05 Stephen Lawrence Notebook computer with wooden housing and silicon keyboard
USD720712S1 (en) 2012-10-05 2015-01-06 Lg Electronics Inc. Mobile phone
WO2014055942A1 (en) 2012-10-05 2014-04-10 Tactual Labs Co. Hybrid systems and methods for low-latency user input processing and feedback
US9158372B2 (en) 2012-10-30 2015-10-13 Google Technology Holdings LLC Method and apparatus for user interaction data storage
CA150941S (en) 2012-11-06 2014-06-02 Sony Computer Entertainment Inc Controller for electronic device
USD704185S1 (en) 2012-11-06 2014-05-06 Google Inc. Notebook computer housing
US9632683B2 (en) 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US20140149935A1 (en) 2012-11-28 2014-05-29 Michael Dudley Johnson User-Intent-Based Chrome
US20140189579A1 (en) 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
JP5489379B1 (ja) 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
JP5884742B2 (ja) 2013-01-21 2016-03-15 トヨタ自動車株式会社 ユーザインタフェース装置および入力取得方法
US9268434B2 (en) 2013-02-14 2016-02-23 Dell Products L.P. Systems and methods for reducing power consumption in a touch sensor display
CA151691S (en) 2013-02-19 2014-06-02 Sony Computer Entertainment Inc Controller for electronic device
CN105074631A (zh) 2013-02-28 2015-11-18 惠普发展公司，有限责任合伙企业 基于预测输入的便携式计算设备的输入
US20140258942A1 (en) 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
KR102281233B1 (ko) 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
US11233841B2 (en) 2013-03-15 2022-01-25 Yottaa, Inc. Systems and methods for configuration-based optimization by an intermediary
NL2010733C2 (nl) 2013-04-29 2014-10-30 Baseline Automatisering B V Werkwijzen voor authenticatie, server, inrichting en datadrager.
US20140344599A1 (en) 2013-05-15 2014-11-20 Advanced Micro Devices, Inc. Method and System for Power Management
US9568524B2 (en) 2013-05-29 2017-02-14 Atmel Corporation Multi-state capacitive button
JP1488334S (zh) 2013-06-14 2017-01-10
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
US9292080B2 (en) * 2013-06-19 2016-03-22 Microsoft Technology Licensing, Llc Selective blocking of background activity
US10254844B2 (en) 2013-06-20 2019-04-09 Uday Parshionikar Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US9236052B2 (en) 2013-06-20 2016-01-12 Bank Of America Corporation Utilizing voice biometrics
CN104252209A (zh) 2013-06-26 2014-12-31 鸿富锦精密工业（深圳）有限公司 风扇转速自动调节方法及系统
US20150009238A1 (en) 2013-07-03 2015-01-08 Nvidia Corporation Method for zooming into and out of an image shown on a display
US20150015688A1 (en) 2013-07-09 2015-01-15 HTC Corportion Facial unlock mechanism using light level determining module
USD724576S1 (en) 2013-07-26 2015-03-17 Hewlett-Packard Development Company, L.P. Computer touch pad
TWD162093S (zh) 2013-08-12 2014-08-01 東芝股份有限公司 電腦
TWD162094S (zh) 2013-08-12 2014-08-01 東芝股份有限公司 電腦
WO2015026203A1 (en) 2013-08-23 2015-02-26 Samsung Electronics Co., Ltd. Mode switching method and apparatus of terminal
KR102305578B1 (ko) 2013-08-23 2021-09-27 삼성전자 주식회사 단말의 모드 변경 방법 및 장치
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP1505102S (zh) 2013-09-26 2017-08-07
US9881592B2 (en) 2013-10-08 2018-01-30 Nvidia Corporation Hardware overlay assignment
US10621276B2 (en) 2013-10-24 2020-04-14 Wmware, Inc. User interface virtualization for web applications
USD741318S1 (en) 2013-10-25 2015-10-20 Intel Corporation Electronic device with a window
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
EP3063602B1 (en) 2013-11-01 2019-10-23 Intel Corporation Gaze-assisted touchscreen inputs
USD731475S1 (en) 2013-11-01 2015-06-09 Hewlett-Packard Development Company, L.P. Computer
US8954884B1 (en) 2013-11-18 2015-02-10 Maestro Devices, LLC Navigation system for viewing an image data-stack in less time with less effort and less repetitive motions
USD746808S1 (en) 2013-12-09 2016-01-05 Google Inc. Notebook computer housing
US10620457B2 (en) 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
KR20150073378A (ko) 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
EP3102995B1 (en) 2014-02-05 2020-11-04 Fujitsu Client Computing Limited Display device, computer system and method for managing the operating states of a computer system
GB2524473A (en) 2014-02-28 2015-09-30 Microsoft Technology Licensing Llc Controlling a computing-based device using gestures
TWD167526S (zh) 2014-03-19 2015-05-01 東芝股份有限公司 電腦
US10254178B2 (en) 2014-03-28 2019-04-09 Intel Corporation Ambient temperature estimation
USD813235S1 (en) 2014-06-25 2018-03-20 Sensel, Inc. Touch sensor typewriter keyboard
US9785447B2 (en) 2014-06-27 2017-10-10 Intel Corporation System standby emulation with fast resume
USD727314S1 (en) 2014-07-07 2015-04-21 Kabushiki Kaisha Toshiba Electronic computer
KR101659032B1 (ko) 2014-07-25 2016-09-23 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20160014915A (ko) * 2014-07-30 2016-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9841887B2 (en) 2014-08-27 2017-12-12 Apple Inc. Anchoring viewport
USD771684S1 (en) 2014-08-28 2016-11-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP1531213S (zh) 2014-09-04 2015-08-17
US9690340B2 (en) 2014-09-25 2017-06-27 Intel Corporation System and method for adaptive thermal and performance management in electronic devices
US20160116960A1 (en) 2014-10-24 2016-04-28 Ati Technologies Ulc Power management using external sensors and data
US9904775B2 (en) 2014-10-31 2018-02-27 The Toronto-Dominion Bank Systems and methods for authenticating user identity based on user-defined image data
US9936195B2 (en) 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
WO2016077385A1 (en) 2014-11-10 2016-05-19 Novi Security, Inc. Power-optimized security sensor
USD751062S1 (en) 2014-12-05 2016-03-08 Shuttle Inc. Portable computer
US20160170617A1 (en) 2014-12-11 2016-06-16 Cisco Technology, Inc. Automatic active region zooming
US20160179767A1 (en) 2014-12-22 2016-06-23 Prasanna Bhat Mavinakuli Architecture for an application with integrated dynamic content
US20160180762A1 (en) 2014-12-22 2016-06-23 Elwha Llc Systems, methods, and devices for controlling screen refresh rates
USD788767S1 (en) 2014-12-26 2017-06-06 Intel Corporation Portable computing device
US9864410B2 (en) 2014-12-29 2018-01-09 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
US20160212317A1 (en) 2015-01-15 2016-07-21 Motorola Mobility Llc 3d ir illumination for iris authentication
US20160232701A1 (en) 2015-02-05 2016-08-11 Blackberry Limited Devices and methods for rendering graphics data
US9846471B1 (en) 2015-02-12 2017-12-19 Marvell International Ltd. Systems and methods for power management in devices
US10037100B2 (en) 2015-03-02 2018-07-31 Apple Inc. SNR-aware active mode touch scans with electrode reallocation
US10101817B2 (en) 2015-03-03 2018-10-16 Intel Corporation Display interaction detection
USD801945S1 (en) 2015-03-06 2017-11-07 Samsung Display Co., Ltd. Mobile phone
US20160297362A1 (en) 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
KR102353218B1 (ko) 2015-07-15 2022-01-20 삼성디스플레이 주식회사 표시 장치 및 그것의 구동 방법
JP6259790B2 (ja) 2015-07-30 2018-01-10 株式会社オプティム ユーザ端末、画面共有方法及びユーザ端末用プログラム
US10990258B2 (en) 2015-08-04 2021-04-27 Google Llc Interactively presenting a visible portion of a rendering surface on a user device
US20170085790A1 (en) 2015-09-23 2017-03-23 Microsoft Technology Licensing, Llc High-resolution imaging of regions of interest
USD769251S1 (en) 2015-09-25 2016-10-18 Getac Technology Corporation Detachable keyboard
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US9792907B2 (en) 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
US9785234B2 (en) 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
USD814469S1 (en) 2016-01-05 2018-04-03 Pt Phototechnics Ag Touchpad
US20170219240A1 (en) 2016-02-03 2017-08-03 Avaya Inc. Method and apparatus for a fan auto adaptive noise
USD780760S1 (en) 2016-03-02 2017-03-07 Ironburg Inventions Ltd. Games controller
USD794027S1 (en) 2016-03-02 2017-08-08 Ironburg Inventions Ltd. Games controller
US10620786B2 (en) 2016-03-07 2020-04-14 Intel Corporation Technologies for event notification interface management
KR20170109408A (ko) 2016-03-21 2017-09-29 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10119666B2 (en) 2016-05-04 2018-11-06 Intel Corporation Display backlighting using ambient light
WO2017197620A1 (en) 2016-05-19 2017-11-23 Intel Corporation Detection of humans in images using depth information
DE112016007018T5 (de) 2016-06-28 2019-06-13 Intel Corporation Identifizierung der iris oder eines anderen körperteils auf einer datenverarbeitungseinrichtung
CA3031771A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
JP1575920S (zh) 2016-07-29 2017-05-08
US10769635B2 (en) 2016-08-05 2020-09-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
EP3285133B1 (en) 2016-08-19 2019-05-01 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
KR102491564B1 (ko) 2016-09-12 2023-01-26 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
US10415286B1 (en) 2016-09-20 2019-09-17 Apple Inc. Hinge with feedback
USD803946S1 (en) 2016-10-06 2017-11-28 Go Matsuda Grip
USD825435S1 (en) 2016-11-14 2018-08-14 Honda Motor Co., Ltd. Touch pad
US20180136719A1 (en) 2016-11-16 2018-05-17 Wuhan China Star Optoelectronics Technology Co., Ltd. Image brightness adjusting method and image brightness adjusting device
US10027662B1 (en) 2016-12-06 2018-07-17 Amazon Technologies, Inc. Dynamic user authentication
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
JP6795387B2 (ja) 2016-12-14 2020-12-02 パナソニック株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
JP1577368S (zh) 2016-12-28 2017-05-29
US20180189547A1 (en) 2016-12-30 2018-07-05 Intel Corporation Biometric identification system
US10545534B2 (en) 2016-12-31 2020-01-28 Lenovo (Singapore) Pte. Ltd. Multiple display device
US11042174B2 (en) 2017-02-03 2021-06-22 Qualcomm Incorporated System and method for thermal management of a wearable computing device based on proximity to a user
USD816083S1 (en) 2017-02-27 2018-04-24 Lu Xue Wu Game controller
US10262599B2 (en) 2017-03-24 2019-04-16 Intel Corporation Display backlight brightness adjustment
USD823850S1 (en) 2017-04-12 2018-07-24 Samsung Electronics Co., Ltd. Laptop computer
US10304209B2 (en) 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
US20180321731A1 (en) 2017-05-04 2018-11-08 Dell Products, Lp System and method for heuristics based user presence detection for power management
CN107272872B (zh) 2017-05-31 2020-01-21 Oppo广东移动通信有限公司 省电控制方法及相关产品
US10423212B2 (en) 2017-06-02 2019-09-24 Apple Inc. Techniques for adjusting computing device sleep states using onboard sensors and learned user behaviors
US11249516B2 (en) 2017-06-27 2022-02-15 Lenovo (Singapore) Pte. Ltd. Multiple display device with rotating display
KR102417002B1 (ko) 2017-06-28 2022-07-05 삼성전자 주식회사 두 개의 디스플레이를 구비하는 전자 장치 및 이의 화면 운용 방법
US11030289B2 (en) 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
USD886112S1 (en) 2017-10-23 2020-06-02 Compal Electronics, Inc. Docking station with keyboard
US10901462B2 (en) 2017-10-26 2021-01-26 Samsung Electronics Co., Ltd. System and method for touch input
USD879777S1 (en) 2017-12-11 2020-03-31 Innopresso, Inc. Keyboard
USD867460S1 (en) 2018-01-09 2019-11-19 Intel Corporation Game controller having a game controller touchpad
US10499540B2 (en) 2018-01-31 2019-12-03 Dell Products L.P. Systems and methods for detecting impeded cooling air flow for information handling system chassis enclosures
KR102568686B1 (ko) 2018-02-09 2023-08-23 삼성전자주식회사 컨텍스트 허브를 포함하는 모바일 장치 및 그것의 동작 방법
US10657237B2 (en) 2018-02-17 2020-05-19 Motorola Mobility Llc Methods and systems for electronic device concealed monitoring
GB2571395B (en) 2018-02-23 2020-06-03 Cirrus Logic Int Semiconductor Ltd A method and system for an electronic device
US10725510B2 (en) 2018-03-16 2020-07-28 Microsoft Technology Licensing, Llc Device configuration-based thermal management control
CN108520728B (zh) 2018-04-20 2020-08-04 京东方科技集团股份有限公司 背光调节方法、装置、计算设备、显示设备和存储介质
EP3756087A4 (en) 2018-06-05 2021-04-21 Samsung Electronics Co., Ltd. PASSIVE WAKE-UP PROCESSES AND SYSTEMS OF A USER INTERACTION DEVICE
US10852791B2 (en) 2018-07-28 2020-12-01 Microsoft Technology Licensing, Llc Optimized touch temperature thermal management
USD878475S1 (en) 2018-08-08 2020-03-17 Logitech Europe, S.A. Gaming controller
US10551888B1 (en) 2018-08-13 2020-02-04 Dell Products L.P. Skin transition thermal control for convertible information handling systems
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
WO2020117189A1 (en) 2018-12-03 2020-06-11 Hewlett-Packard Development Company, L.P. Sensing audio information and footsteps to control power
US11031005B2 (en) 2018-12-17 2021-06-08 Intel Corporation Continuous topic detection and adaption in audio environments
USD914021S1 (en) 2018-12-18 2021-03-23 Intel Corporation Touchpad display screen for computing device
USD873835S1 (en) 2018-12-21 2020-01-28 Kung CHAN Keyboard
US10721408B1 (en) 2018-12-26 2020-07-21 Himax Imaging Limited Automatic exposure imaging system and method
EP3909198A4 (en) 2019-02-08 2022-03-23 Keyless Technologies Ltd AUTHENTICATION PROCESSING SERVICE
BR112021016868A2 (pt) 2019-03-27 2021-11-03 Intel Corp Aparelho para controlar uma exibição de um dispositivo eletrônico, dispositivo eletrônico que tem uma tela de exibição e pelo menos uma mídia de armazenamento legível por computador não temporária
US11009936B2 (en) 2019-05-02 2021-05-18 Dell Products L.P. Information handling system power control sensor
US10819920B1 (en) 2019-05-22 2020-10-27 Dell Products L.P. Augmented information handling system user presence detection
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US10768724B1 (en) 2019-06-03 2020-09-08 Evga Corporation Mouse device and computer control system thereof
KR20220005081A (ko) * 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
US11448747B2 (en) 2019-09-26 2022-09-20 Apple Inc. Time-of-flight determination of user intent
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11334146B2 (en) 2020-01-31 2022-05-17 Dell Products L.P. Information handling system peripheral enhanced user presence detection
JP2023538989A (ja) 2020-06-26 2023-09-13 インテル コーポレイション コンピューティングシステムにおけるウェイクパターンを動的にスケジュールする方法、システム、製造物品、及び装置
US20210109585A1 (en) 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve user experience on computing devices

Also Published As

Publication number Publication date
US11733761B2 (en) 2023-08-22
US20200133374A1 (en) 2020-04-30
EP3819745A1 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US11733761B2 (en) Methods and apparatus to manage power and performance of computing devices based on user presence
NL2029823B1 (en) Methods and apparatus to improve user experience on computing devices
CN111919433B (zh) 用于操作移动相机以用于低功率使用的方法和装置
WO2020191643A1 (en) Smart display panel apparatus and related methods
US8635475B2 (en) Application-specific power management
US9921631B2 (en) Methods and apparatus for saving power
US20220357795A1 (en) Context aware selective backlighting techniques
US20210327394A1 (en) User-presence based adjustment of display characteristics
US20150316983A1 (en) Method for operating user functions based on eye tracking and mobile device adapted thereto
CN113050774A (zh) 用于电子用户设备的热管理的装置和方法
CN113038470A (zh) 用于多模式用户设备认证的系统和方法
CN112578894A (zh) 触摸唤醒显示屏设备和相关方法
US20140019786A1 (en) Energy-efficient transmission of content over a wireless connection
KR20160001964A (ko) 마이크 운용 방법 및 이를 지원하는 전자 장치
JP2009530709A5 (zh)
US20110163977A1 (en) Mode Dependent Configuration of Portable Electronic Device
CN110968474A (zh) 用于使用人工智能来管理可变状态计算设备的操作的方法和装置
US10025372B2 (en) Techniques for managing system power using deferred graphics rendering
US11417323B2 (en) Electronic apparatus and control method thereof
US8745154B1 (en) Item download customization
US20130318377A1 (en) Information processor, computer program product, and power saving setting method
US11249534B2 (en) Apparatus and methods for reduced computing device power consumption
US11972271B2 (en) End user sensitivity profiling for efficiency and performance management
US20230214232A1 (en) End user sensitivity profiling for efficiency and performance management
JP2013238928A (ja) 電子機器及び省電力設定制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination