CN113569284A - 注意力检测服务 - Google Patents

Abstract

本公开涉及注意力检测服务。注意力检测服务可针对用户正在注意所述设备的指示而监视所述设备中的各种外围设备。各种客户端可注册注意力检测和注意力丢失(不再检测到注意力)事件的通知，或者可针对所述事件轮询所述服务。如果用户没有正在注意所述设备，则采取各种动作以允许降低的能量消耗可以是可能的。

Description

注意力检测服务

本申请是国际申请日为2018年1月24日、名称为“注意力检测服务”的进入中国国家阶段的发明专利申请No.201880036703.6的分案申请。

技术领域

本文所述的实施方案涉及对移动设备上的注意力检测。

背景技术

移动设备已变得无处不在，并且对于大多数移动设备用户而言，对其移动设备的访问对于他们如何花费其时间至关重要。移动设备可包括各种“智能电话”，其包括蜂窝电话功能和用于在电话上执行各种应用程序或应用的一般处理能力。智能电话通常可具有互联网接入(例如，通过蜂窝网络或经由wifi)。其他移动设备可包括平板电脑、膝上型计算机等。

通常，代替或除了从固定电源诸如壁装电源插座进行操作之外，移动设备被设计成从移动电源诸如电池进行操作。固定电源通常具有基本上无穷的能量可供使用，而移动电源在需要补充之前可能具有有限量的储能。因此，能量是期望节省的稀缺资源。

虽然其他类型的设备(例如，插到壁装电源插座中的设备)可能不具有那么迫切的节省能量需求，但此类设备可能由于其他原因而希望减少能量使用。例如，能量消耗常常与需要从设备移除的热能的増加相关。因此，效率低下的能量消耗可导致系统中更高的热能，从而需要更多的冷却来提取热能。

发明内容

在一个实施方案中，设备可包括注意力检测服务。注意力检测服务可针对用户正在注意该设备的指示而监视该设备中的各种外围设备。各种客户端可注册注意力检测和注意力丢失(不再检测到注意力)事件的通知，或者可针对事件轮询服务。如果用户没有正在注意该设备，则采取各种动作以允许降低的能量消耗可以是可能的。

附图说明

下面的详细描述参照附图，现在对这些附图进行简要说明。

图1是系统的一个实施方案的框图。

图2是可在图1所示系统上执行的软件部件的一个实施方案的框图。

图3是示出图2中所示注意力检测服务的一个实施方案的操作的流程图。

图4是示出图2中所示注意力检测服务的一个实施方案响应于来自客户端的注册请求的操作的流程图。

图5是示出图2中所示注意力检测服务的一个实施方案响应于来自客户端的轮询的操作的流程图。

图6是示出图2中所示注意力检测服务的一个实施方案响应于注意力事件的操作的流程图。

图7是示出图2中所示注意力检测服务的一个实施方案响应于超时的操作的流程图。

图8是计算机可访问存储介质的一个实施方案的框图。

尽管本公开中所述的实施方案可受各种修改形式和另选形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的具体实施方式不旨在将实施方案限制为所公开的特定形式，而相反，本发明旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”、“包含”是指包括但不限于。如本文所用，除非有明确指出，否则术语“第一”、“第二”等充当其之后的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。

在本公开内，不同实体(其可被不同地称为“单元”、“电路”、其他部件等等)可被描述或声称成“被配置为”执行一个或多个任务或操作。此表达方式—被配置为[执行一个或多个任务]的[实体]—在本文中用于指代结构(即，物理的事物，诸如电子电路)。更具体地，此表达方式用于指示此结构被布置成在操作期间执行一个或多个任务。结构可被描述成“被配置为”执行某个任务，即使该结构当前并非正被操作亦如此。“被配置为生成输出时钟信号的时钟电路”旨在涵盖例如在操作期间执行该功能的电路，即使所涉及的电路当前并非正被使用(例如该电路并未连接到电源)。因此，被描述或表述成“被配置为”执行某个任务的实体是指物理的事物，诸如设备、电路、存储可执行以实施该任务的程序指令的存储器等。该短语在本文中不被用于指代无形的事物。通常，形成与“被配置为”对应的结构的电路可包括硬件电路。硬件电路可包括以下项的任意组合：组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、模拟电路、可编程逻辑阵列等。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。

术语“被配置为”并不旨在表示“可被配置为”。例如，未经编程的FPGA不应当被认为是“被配置为”执行某个特定功能，虽然其可能“可被配置为”执行该功能。在适当编程之后，FPGA然后可被配置为执行该功能。

所附权利要求书中表述被配置为执行一个或多个任务的单元/电路/部件或其他结构明确地旨在对该项权利要求不援引35U.S.C.§112(f)的解释。于是，所提交的本申请中没有任何权利要求旨在要被解释为具有装置-加-功能要素。如果申请人在申请过程中想要援引112(f)部分，则其将利用“用于”[执行功能]“的装置”结构来表述权利要求的要素。

在一个实施方案中，可通过以硬件描述语言(HDL)诸如Verilog或VHDL对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成HDL描述，并可出于定时、功率和其他原因而被修改，以获得可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并且可进一步包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，并且/或者可在一些实施方案中使用离散元件。另选地，HDL设计可被合成为可编程逻辑阵列诸如现场可编程门阵列(FPGA)并且可在FPGA中实现。

如本文所用，术语“基于”或“取决于”用于描述影响确定的一个或多个因素。此术语不排除可能有附加因素可影响确定。也就是说，确定可仅基于指定的因素或基于所指定的因素及其他未指定的因素。考虑短语“基于B确定A”。这个短语指定B是用于确定A的因素或者其影响A的确定。这个短语并不排除A的确定也可能基于某个其他因素诸如C。这个短语也旨在涵盖A仅基于B来确定的实施方案。如本文所用，短语“基于”与短语“至少部分地基于”是同义的。

本说明书包括对各种实施方案的参考，以指示本公开并非旨在提及一个特定具体实施，而是提及落入包括所附权利要求书的本公开的实质内的一系列实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

本公开进一步设想负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私做法。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，在使用面部识别来对设备进行解锁和/或授权的情况下，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应当采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开也预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。

具体实施方式

现在转向图1，其示出了系统10的一个实施方案的框图。在图示实施方案中，系统10可包括处理系统12，其耦接至一个或多个外围装置(“外围设备”)14A-14I。虽然各种外围设备在图1中作为示例被示出，但任何集合的外围设备可被包括在各种实施方案中，包括外围设备14A-14I的子集、外围设备14A-14I的子集和附加外围设备、外围设备14A-14I的超集和附加外围设备等。一般而言，系统10可以是任何类型的数字系统。例如，系统10可以是便携式设备，诸如个人数字助理、集成移动电话特征以及应用程序执行的智能电话、平板电脑或膝上型计算机。系统10也可以是台式计算机、独立服务器计算机、机架式计算机(例如服务器)、工作站等。

处理系统12可包括一个或多个处理器，其被配置为执行在由系统10实现的指令集架构中定义的指令。指令集架构可定义该指令，包括其编码、操作数以及响应于执行每个指令而要执行的操作。操作数可包括存储在处理器中所实现的一组或多组寄存器中的数据、存储在由操作数数据和/或其他数据形成的地址所标识的存储器位置中的数据等。指令集架构可进一步指定中断、异常以及不与指令执行直接相关的其他操作因素。指令集架构可定义处理器状态，包括上述操作数寄存器以及可在其中编程各种处理器模式的各种配置和控制寄存器。

一般来讲，处理器可具有任何微架构。例如，微架构可以是标量或超标量的、推测或非推测的、顺序或无序的、流水线或超流水线的等。各种性能増强特征诸如高速缓存、分支预测、寄存器重命名、中央或分布式调度、重排序缓冲器、存储器缓冲器等可以在各种实施方案中采用。在一些实施方案中，除上述特征中的任何特征之外，处理器还可以采用微码。在一些实施方案中，处理器可包括多线程加速能力。处理器可以是多核或单核，并且可以包括片上系统(SOC)配置中的具有其他硬件的集成处理器，或者可以是独立多核或单核集成电路(IC)。处理器可在具有其他芯片的多芯片模块中实现。包括处理器的SOC/IC可被进一步包括在具有其他芯片的层叠封装或叠层芯片构型中。

在一些实施方案中，处理系统12可包括附加电路，诸如存储器控制器。存储器控制器可接口至系统10的主存储器系统，其可为任何类型的存储器。例如，存储器可以是各种形式的随机存取存储器(RAM)，诸如动态RAM(DRAM)、双数据速率DRAM(DDR DRAM)，包括各种移动DDR(mDDR)和/或低功率DDR(LP DDR)DRAM。存储器也可包括各种非易失性RAM，诸如闪存存储器。

处理系统12可进一步包括各种其他电路，诸如电源管理电路、附加外围设备、用于外围设备接口(包括外围设备14A-14I中的一个或多个所耦接到的外围设备接口)的外围设备接口电路等。处理系统12可包括处理从外围设备14A-14I中的一个或多个接收的数据的电路(例如，处理来自相机14B的图像的一个或多个图像信号处理器(ISP))。在一个实施方案中，处理系统12可以是或者可以包括包括处理器和一个或多个其他部件(包括上述示例)的SOC。

外围设备14A-14I可包括各种外围设备，其可提供指示系统10的用户注意系统10的数据。如果用户正在与系统10交互或与系统10建立联系，则用户可能正在注意系统10。交互可以是视觉的(例如，用户正看着系统10，并且/或者正看着系统10的显示屏)、听觉的(例如，正在对系统上的虚拟助理或其他语音识别部件说话，并且/或者正在使用预先确定的声音作为触发来指示注意力)，并且/或者交互可以是物理的(例如，正在使用对系统10的一个或多个输入/输出接口，并且/或者正以指示使用的方式移动便携版的系统10)。如前所述，任何集合的外围设备都可在各种实施方案中使用。

触摸屏14A可为外围设备，其检测用户在屏幕表面上的触摸。屏幕可以是显示屏，或者可以是设备诸如膝上型计算机上的在其中触摸被解释为鼠标移动的触摸区域(例如，触摸板)。屏幕也可以是键盘上的触摸功能行。在一些实施方案中，触摸感测可以包括感测与触摸屏14A的直接接触，或者也可以包括近触摸感测(例如，用户的接触例如手指在与触摸屏14A相距限定的距离内)。除了检测触摸的存在或不存在之外，触摸感测可进一步包括区分触摸屏14A上的各种接触强度。即，在一些实施方案中，触摸屏14A可包括触觉感测，类似于下文更详细讨论的触觉传感器14C。

系统10可包括一个或多个相机14B。相机14B可捕获相机14B前方环境的任何种类的图像。例如，相机14B可包括在可见光谱中捕获图像的一个或多个可见光相机，诸如电荷耦合设备(CCD)相机、光学相机等。在一些实施方案中，相机14B可进一步包括在红外(IR)光谱中捕获图像的一个或多个IR相机。IR图像可用于例如面部检测。IR相机可进一步包括结构化光相机，其在用户的脸部上投射点，用于深度检测。

触觉传感器14C也可以是一种类型的触摸传感器，其感测接触强度。例如，触觉传感器14C可用于系统10上可由用户按压的一个或多个按钮，并且所感测到的接触强度可用于触发系统10内的不同事件(例如，按钮上的第一接触强度可触发一个事件，而第二接触强度可触发另一事件)。在一个实施方案中，触觉传感器14C可包括力传感器。另选地，在另一实施方案中，触觉传感器14C可包括压力传感器。

键盘14D可以是用户在上面进行键入的物理键盘。例如，键盘14D可为膝上型计算机中的集成键盘，或者如果系统10是膝上型计算机、台式计算机、服务器等，则可为连接到系统10的输入/输出端口诸如通用串行总线(USB)端口、串行端口等的键盘。键盘14D也可通过蓝牙或其他无线互连而无线地连接到系统10。一些设备可支持显示在触摸屏14A(例如，PDA、智能电话和平板电脑)的一部分(或全部)上的虚拟键盘，并且因此键盘14D可以不被包括在那些设备上(或可通过连接到端口来包括，如果需要的话)。

外部连接传感器14E可检测系统10外部的设备已连接到系统10的端口或外部接口。例如，如果外部显示器连接到视频端口(例如，视频图形适配器(VGA)或高清晰度媒体接口(HDMI)端口)，则连接可被感测到。

鼠标/指向设备14F可以是提供光标或其他视觉指示在屏幕上的移动的任何种类的输入设备。因此，鼠标/指向设备14F可包括鼠标、轨迹球设备、触摸平板等。在一些实施方案中，触摸屏14A也可为指向设备。鼠标/指向设备14F可利用各种有线或无线连接而连接到系统10，与以上对键盘14D的讨论类似。

按钮传感器14G可感测系统10上按钮上的用户按压。例如，智能电话或平板电脑上的按钮传感器14G可检测电源开/关按钮、音量控制按钮、静音开关/按钮等。在一个实施方案中，按钮传感器14G可用于不具有经由触觉传感器14G进行的触觉感测的按钮。

设备动态传感器14H可为检测系统10在其环境内的动态的各种传感器。例如，设备动态传感器14H可包括以下任意者中的一个或多个：陀螺仪、加速度计、磁力计、光电检测器、接近传感器、温度传感器等。设备动态传感器14H可用于检测系统10在系统10周围环境中的取向和/或移动。设备动态传感器14H也可用于检测环境的属性(例如，温度、光等)。

生物特征传感器14I可检测来自用户的生物特征数据(例如指纹、虹膜扫描等)。生物特征数据在群体中可以为充分地多样，使得生物特征数据在识别用户中可以高度可靠。在一个实施方案中，经由相机14B进行的脸部检测也可以是一种形式的生物特征感测。

如上所述，在一些实施方案中，可使用各种外围设备14A-14I来检测用户是否正在注意系统10。如果用户正在触摸屏幕(触摸屏14A)，则用户可能正与系统10物理地交互并因此正在注意。在一些情况下，触摸屏14A可能报告不是来自用户的触摸(例如，当系统10在用户的口袋中时，口袋可导致触摸事件发生)。因此，在一些实施方案中，来自触摸屏14A的数据可通过来自其他传感器的数据进行过滤或证实。由相机14B捕获并且由处理系统12中的ISP处理的图像可用于检测面部，并且基于脸部并且具体地基于眼睛的位置，处理系统12可确定用户是否正看着系统10。如果用户正看着系统10，则用户可能正在注意系统10。如果触觉传感器14C检测到足够的接触强度，则用户可能正在与系统10交互并且因此可能正在注意。类似地，如果键盘14D、鼠标/指向设备14F、按钮传感器14H和/或生物特征传感器14I检测到用户输入，则用户可能正在注意。如果外部连接传感器14E检测到外部监视器被连接并且正在显示来自系统10的输出，则用户可能正在注意监视器并因此正在注意系统10。如果设备动态传感器14H检测到表明用户正在操纵系统10的移动和/或取向，则用户可能正在注意系统10。

来自上述外围设备14A-14I的数据的组合可用于检测注意力，并且/或者用一个或多个其他外围设备14A-14I对来自外围设备14A-14I的数据进行过滤。另外，在一些实施方案中，外围设备14A-14I中的一个或多个可能操作更“昂贵”。例如，外围设备14A-14I中的一个或多个可能消耗比其他外围设备14A-14I明显更多的功率。在从移动电源(例如，电池)操作的移动设备上，更高功率消耗的代价可以是例如在需要充电之前电池寿命的降低。较不昂贵的外围设备14A-14I可用作用于检测注意力的代理，并且当此类外围设备14A-14I在某个时间段没有检测到注意力时，更昂贵的外围设备14A-14I可用于验证用户没有正在注意。

各种传感器在本文中已被描述为接触强度传感器、力传感器、压力传感器或触摸传感器(例如，触觉传感器14C和/或触摸屏或其他触摸设备14A)。接触强度传感器可包括例如一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器从环境接收接触强度信息(例如，力信息、压力信息、或力或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触摸屏/设备14A)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备的后部上，与位于设备的前部上的触摸屏/设备14A相背对。力传感器和压力传感器可以是接触强度传感器的例子。

如本文中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的代替物(代用物)。接触的强度可具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度可使用各种方法和各种传感器或传感器组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器可测量在触敏表面上的各个点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端可确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化，并且/或者接触附近的触敏表面的电阻和/或其变化可被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，接触力或压力的替代物测量被转换成估计的力或压力，并且估计的力或压力用于确定是否已超过强度阈值(例如，强度阈值是以压力的单位进行测量的压力阈值或者以力的单位进行测量的力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在尺寸更小的设备上在某些情况下可能本来不能访问的附加设备功能，该尺寸更小的设备具有有限的实地面积以用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件，诸如旋钮或按钮)。

图2是在一个实施方案中可在处理系统12中执行的软件部件的一个实施方案的框图。在图示实施方案中，可存在一个或多个客户端20A-20N、注意力检测服务22、事件处理器24和一个或多个设备驱动器26。

客户端20A-20N可为软件代码序列(例如，进程、线程或应用程序)，其可基于用户是否正在注意系统10而修改其行为。例如，负责将帧驱动到显示器的客户端20A-20N可确定用户是否正在注意，并且如果没有正在注意，则可调暗显示器以节省功率和/或显示器上的磨损。如果用户继续缺乏注意力，则客户端20A-20N可关闭显示器。又如，客户端20A-20N可在呼叫进入时在智能电话上驱动铃声。如果用户正在注意该设备，则客户端20A-20N可降低铃声的音量(或者可能甚至使铃声静音)，以使得用户在决定是否接听该呼叫时不被声音弄得手足无措。又如，客户端20A-20N可为系统10的语音识别接口。如果用户说出某个关键短语，则语音识别接口可唤醒并开始将用户的语音解释为对系统10的命令/请求。如果用户正在注意系统10，则语音识别接口可唤醒并且可显示语音识别接口准备好接受命令的通知。用户可跳过该关键短语并从请求/命令开始。又如，对系统10进行功率管理的客户端20A-20N可确定用户是否没有正在注意系统10并且可降低系统10的一个或多个部件的性能水平以降低功率消耗。例如，处理系统12中的处理器可使其性能状态降低，从而允许更低的操作电压和频率。或者，功率管理器可使图形适配器将屏幕分辨率切换到较低分辨率(或可切换至较低功率、较低性能适配器)。

在一个实施方案中，注意力检测服务22可以为客户端20A-20N提供应用编程接口(API)以允许客户端20A-20N检测用户注意力。注意力检测服务22可支持轮询客户端和超时客户端。

轮询客户端可将请求传输到注意力检测服务22以确定用户在当前时间是否正在注意。当前时间可以是轮询请求被传输到注意力检测服务22的时间。在一个实施方案中，轮询客户端也可提供轮询持续时间，该轮询持续时间指示在当前时间之后多久将向轮询客户端通知用户注意力的变化。在一个实施方案中，轮询客户端可提供失效容限，指示新近注意力样本对于响应指示当前时间的注意力的轮询是否应当是可接受的以及新近注意力样本的最大使用期限。在上述示例中，铃声驱动器可以是在呼叫被接收时进行轮询的轮询客户端。轮询持续时间可以是铃声驱动器在转到语音信箱之前应当传输铃声的时间量。在一个实施方案中，轮询客户端可任选地指定下文所讨论的注意力超时长度，但可主动地轮询持续注意力超时间隔的一部分。例如，轮询客户端可以指定1分钟注意力超时长度，但可以指定主动轮询持续该间隔的最后30秒。在注意力超时间隔期间检测到的来自事件驱动传感器(例如，触摸传感器、用户输入/输出传感器如键盘或按钮按压等)的事件可导致超时间隔被重置，如下所述。被动传感器(其被激活并针对状态被轮询，诸如相机14B)可在主动轮询间隔中被轮询，并且如果从被动传感器检测到事件，则主动轮询间隔可被重置。

超时客户端可注册注意力检测服务22，并且可指定最大样本长度和注意力超时长度。最大样本长度可指定在不检测用户是否正在注意系统10的情况下可接受的最大时间量。各种低功率外围设备14A-14I可提供可被解释用于注意力或非注意力的样本。如果样本被接收，则样本超时可被重置为最大样本长度。如果样本没有被接收并且样本超时到期，则可使用高功率外围设备14A-14I来检测注意力。在本实施方案中，例如，相机14B和处理系统12内的ISP可以是高功率外围设备。如果样本超时到期，则相机14B和ISP可被激活并且可尝试检测用户的脸部以及用户正看着的方向。如果用户看起来正看着系统10的显示器，则可认为用户正在注意系统10。如果用户未出现在相机中，或者用户看起来视线远离系统10，则可认为用户没有正在注意。如果用户正在注意，则样本超时可被重新初始化为最大样本长度。如果用户没有正在注意，并且注意力超时对于一个或多个客户端已到期，则可向客户端通知用户的注意力已丢失。在以上示例中，语音识别接口和显示驱动器可以是超时客户端。

在图2中，客户端20A可以是超时客户端，客户端20N可以是轮询客户端。因此，客户端20A可注册注意力检测服务22，并且可从注意力检测服务22接收注意力开始(AttnStart)和注意力丢失(AttnLost)指示。AttnStart指示可在任何时候被注意力检测服务22检测到时被传输。AttnLost指示可在由于注意力超时而检测到时被传输。客户端20N可在需要确定用户是否正在注意时传输轮询请求。如果用户当前正在注意系统10，则注意力检测服务22可响应于轮询请求而返回AttnStart。否则，如果在轮询持续时间期间检测到注意力，则注意力检测服务22可返回AttnStart。如果注意力在AttnStart被传输之后丢失并且仍在轮询持续时间内，则注意力检测服务可返回AttnLost。可以支持超时客户端和轮询客户端的任意组合。在一个实施方案中，轮询客户端可任选地在引发轮询间隔时请求初始注意力状态。在这种情况下，注意力检测服务22可响应于轮询客户端的请求而(经由相机14B)扫描脸部存在，并且如果脸部存在则以AttnStart进行响应，或者如果当前没有脸部存在则返回轮询持续时间已被引发的指示。如果AttnStart被检测到，则对脸部的扫描可停止。

在一个实施方案中，对注意力检测服务22的寄存器和轮询调用可以是对注意力检测服务22的API，并且注意力检测服务22可经由对客户端20A-20N的回调而返回AttnStart和AttnLost。

事件处理器24可从设备驱动器26接收各种事件，该设备驱动器可控制外围设备14A-14I。事件可包括可指示用户正在注意系统10的事件。事件处理器24可将这些事件传输到注意力检测服务22。事件处理器24也可处理其他事件并将各种事件(包括被提供到注意力检测服务22的事件中的一个或多个)发送到其他服务。在一个实施方案中，如果注意力检测服务22检测到用户在注意力检测服务22正在(经由相机14B之外的另外的外围设备)扫描脸部时没有正在注意，则注意力检测服务22可停止对脸部的扫描。用户随后与系统10的交互可导致AttnStart事件或可导致注意力检测服务22开始利用相机14B扫描脸部。

现在转到图3，示出了例示注意力检测服务22的一个实施方案的一般性操作的流程图。然而，为了便于理解，框图以特定顺序示出，也可使用其他顺序。注意力检测服务22可包括指令，当在系统10中执行(并且更具体地讲，在一个实施方案中，由处理系统12执行)时，该指令可实现图3所示的操作。因此，当存储在存储器中和被执行时，注意力检测服务22可被配置为实现图3所示的操作。

注意力检测服务22可检测注册请求并且可注册发送注册请求的客户端(决策框100，“是”分支和框102)。一般而言，注册客户端可包括捕获客户端标识符或用于与客户端通信的其他机制(例如，回调地址)、客户端所关注的一组事件(例如，被客户端解释成指示用户注意力的事件)以及潜在的其他参数，诸如注意力丢失超时、样本长度超时、轮询客户端的轮询持续时间等。注意力检测服务22可针对事件监视外围设备14A-14I(框104)；在检测到事件时，将注意力的指示发送到已注册关注那些事件的客户端(框106)；以及在超时发生而没有在超时周期内检测到任何事件时发送注意力丢失的指示(框108)。

虽然图3将注意力检测服务22图示成在循环中执行，但该执行实际上可以是基于线程的，并且线程可在被触发时被执行。例如，注册可响应于注册请求而被触发，监视外围设备可响应于事件或样本超时而被触发，并且注意力和注意力丢失的通信可由事件和超时触发。

现在转到图4，其示出了例示注意力检测服务22的一个实施方案响应于来自超时客户端20A-20N的注册请求的操作的流程图。图4在一个实施方案中可示出图3中的框102的一部分。然而，为了便于理解，框图以特定顺序示出，也可使用其他顺序。注意力检测服务22可包括指令，当在系统10中执行(并且更具体地讲，在一个实施方案中，由处理系统12执行)时，该指令可实现图4所示的操作。因此，当存储在存储器中和被执行时，注意力检测服务22可被配置为实现图4所示的操作。

注册请求可包括样本长度超时、一个或多个注意力丢失超时以及客户端20A-20N所关注的一组事件，并且注意力检测服务可记录客户端的数据(框30)。注意力丢失超时可以是一个集合，以使得注意力丢失事件可具有多个级别的超时。例如，对于显示控制器进行的屏幕调暗和屏幕关闭，屏幕调暗可以是这个集合中的第一(最短)超时，并且屏幕关闭可以是更长的超时。注意力丢失超时可以被表示为一个集合，因此每个客户端可指定超时的数量。即，独立于其他客户端20A-20N，每个客户端20A-20N可确定它将具有多少注意力超时。该集合的事件是从注意力检测服务22支持作为指示对系统的注意力的事件抽取。客户端20A-20N可根据需要选择所有这些事件或任意子集。例如，该事件可被指定为位掩码，其中每个位对应于该事件之一。该位可被设定来为客户端20A-20N包括这些事件中的事件，或者可被清零以排除该事件。其他实施方案可根据需要使用相反的编码或任何其他编码。该事件可包括触摸屏14A上的触摸、通过相机14B(和ISP)的脸部检测、触觉传感器14C上的触摸(和接触强度)、键盘14D上的键盘活动、外部连接传感器14E所感测的外部连接、鼠标/指向设备14F上的鼠标/指向设备活动、按钮传感器14G上的按钮按压、来自设备动态传感器14H的数据以及生物特征传感器14I上的活动。

注意力检测服务22可将当前超时保持为来自各种超时客户端20A-20N的样本长度超时的最小值。如果该请求所指定的样本长度超时小于当前超时(决策框32，“是”分支)，则注意力检测服务22可将当前超时更新为等于由注册请求指定的样本长度超时(框34)。如果对应于至少一个注册事件的当前样本指示用户注意力(决策框36，“是”分支)，则注意力检测服务22可将AttnStart传输到注册客户端(框38)。

现在转到图5，其示出了例示注意力检测服务22的一个实施方案响应于来自轮询客户端20A-20N的轮询请求的操作的流程图。图5在一个实施方案中可示出图3中的框102的一部分。然而，为了便于理解，框图以特定顺序示出，也可使用其他顺序。注意力检测服务22可包括指令，当在系统10中执行(并且更具体地讲，在一个实施方案中，由处理系统12执行)时，该指令可实现图5所示的操作。因此，当存储在存储器中和被执行时，注意力检测服务22可被配置为实现图5所示的操作。

轮询请求可包括轮询持续时间和轮询客户端所关注的事件集合(例如，如上所述，事件掩码)。另外，在一些实施方案中，轮询请求可包括样本长度超时和一个或多个注意力丢失超时。注意力检测服务22可记录轮询客户端的轮询持续时间、样本长度超时、注意力丢失超时和该事件集合(框40)。另外，如果轮询请求中的样本长度超时短于当前超时，则注意力检测服务22可更新当前超时。即，框40可类似于图4中的框30、32和34。如果轮询客户端允许失效容限，则注意力检测服务22可确定轮询客户端(在其事件掩码中)已注册的该事件中的一个或多个中的最新近事件是否已在当前时间的失效容限内发生(决策框42)。例如，如果不允许失效，则失效容限可为零。如果失效容限为非零，则可从当前时间减去失效容限以与最新近事件的时间戳进行比较。如果至少一个事件已在失效容限内发生(决策框42，“是”分支)，则注意力检测服务22可将AttnStart传输到轮询客户端(框44)。如上所述，在一些实施方案中，轮询请求可包括对初始状态的请求。如果是这样，则注意力检测服务22可在尚未检测到AttnStart的情况下引发经由相机14B对脸部的扫描，并且可返回扫描已开始的指示。

虽然图5中所示的流程图显示在用户当前没有正在注意系统的情况下(决策框42，“否”分支)没有与轮询客户端的通信，但其他实施方案可发送AttnLost消息以明确指示用户没有正在注意。其他实施方案可定义第三消息来指示缺乏当前注意力。

图6是示出注意力检测服务22的一个实施方案响应于事件处理器24发出事件信号的操作的流程图。图6在一个实施方案中可以是框104和106的一部分的实施方案的示例。然而，为了便于理解，框图以特定顺序示出，也可使用其他顺序。注意力检测服务22可包括指令，当在系统10中执行(并且更具体地讲，在一个实施方案中，由处理系统12执行)时，该指令可实现图6所示的操作。因此，当存储在存储器中和被执行时，注意力检测服务22可被配置为实现图6所示的操作。

注意力检测服务22可从活动客户端中选择客户端(框50)。活动客户端可包括已注册注意力检测服务22的超时客户端或者具有主动轮询持续时间待决的轮询客户端。如果所选客户端关注该事件，则该事件可以已针对所选客户端进行了注册。如果是这样(决策框52，“是”分支)，并且客户端自最新近AttnLost消息以来还未接收到AttnStart消息，或者自客户端注册以来，如果客户端从未接收到AttnStart(决策框54，“否”分支)，则注意力检测服务22可以将AttnStart信号发送到所选客户端(框66)。此外，如果该事件针对所选客户端被注册(决策框52，“是”分支和决策框54，任一路径)，则注意力检测服务22可将该客户端的超时(样本长度和一个或多个注意力丢失超时)重置为其初始值，因为已接收到该客户端注册的事件(框58)。

在该事件并未为该客户端注册的情况下(决策框52，“否”分支)，不存在将信号发送到该客户端并且该客户端的超时不被重置。如果有更多活动客户端要处理(决策框60，“是”分支)，则可重复框50、52、54、56和58所表示的过程。

应当指出的是，图6中的图示仅仅是用于处理事件的一种机制，并且可能仅例示针对给定客户采取的动作。可以存在许多其他具体实施。例如，客户端数据可通过事件来布置。当给定事件到达时，受影响的客户端可根据该给定事件而被查找，并且可将其超时重置并且使其AttnStart消息发送。因此，可以不是迭代过程来如图6所示更新客户端。另外，AttnStart消息的传输可被延迟直到该处理对于每个客户端完成，因为该消息被回调到客户端，并且如果客户端中的一个被调度到正在执行注意力检测服务22的处理器，则可能导致从注意力检测服务22退出持续一个时间段。

图7是示出注意力检测服务22的一个实施方案响应于注意力检测服务22所保持的当前超时的到期的操作的流程图。图7在一个实施方案中可以是框104、106和108的一部分的实施方案的示例。然而，为了便于理解，框图以特定顺序示出，也可使用其他顺序。注意力检测服务22可包括指令，当在系统10中执行(并且更具体地讲，在一个实施方案中，由处理系统12执行)时，该指令可实现图7所示的操作。因此，当存储在存储器中和被执行时，注意力检测服务22可被配置为实现图7所示的操作。

注意力检测服务22可采样任何高成本传感器和/或被动传感器(如果有的话)(框70)。高成本传感器可以是由于其成本(例如，能量成本)而不被连续接通的传感器。例如，相机14B进行的脸部检测可为高成本传感器。被动传感器可以是可收集与注意力相关的数据、但不自行发出事件信号的传感器。此类传感器可在当前超时到期时被注意力检测服务22读取。如果高成本和/或被动传感器指示注意力事件(决策框72，“是”分支)，则该事件可作为事件(例如，以图6的方式)被处理(框74)。

注意力检测服务22可选择活动客户端(框76)。在如框72所示的事件检测的情况下，未针对所检测到的事件进行注册的活动客户端被选择，因为其他客户端已针对所检测到的事件被处理。注意力检测服务22可调整与所选客户端相关联的超时和/或持续时间(框78)。例如，可通过减去当前超时、在零处饱和来调整超时。或者，最初在零处开始的超时可加上当前超时，在客户端指定的超时处饱和。如果与客户端相关联的注意力丢失超时之一已到期(决策框80，“是”分支)，则注意力检测服务22可以将AttnLost信号发送到客户端(框82)。此外，如果客户端是轮询客户端并且持续时间已到期(决策框84，“是”分支)，则注意力检测服务22可注销该客户端，因为轮询完成(框86)。如果有更多客户端仍然要处理(决策框88，“是”分支)，则可为另一客户端重复框76、78、80、82、84和86所表示的过程。

类似于上文针对图6的讨论，图7中的图示仅仅是用于处理超时的一种机制，并且可仅例示针对给定客户端所采取的动作。可以存在许多其他具体实施。例如，在框72和框74中未被所检测到的事件处理的每个客户端的超时/持续时间(在一个实施方案中)可被更新成单个操作，而不是以逐个客户为基础的迭代。框76、78、80、82、84和86所表示的处理可并行地为各种客户端执行。另外，AttnLost消息的传输可被延迟直到该处理对于每个客户端完成，因为该消息被回调到客户端，并且如果客户端中的一个被调度到正在执行注意力检测服务22的处理器，则可能导致从注意力检测服务22退出持续一个时间段。

在一个实施方案中，可控制对注意力检测服务22的访问。例如，客户端20A-20N可被要求具有对注意力检测服务22的授权以便使用注意力检测服务22中的API。授权可以是可基于系统10对代码序列具有的信任水平而被授予各种代码序列的权利。例如，被授权访问注意力检测服务22的客户端可以是作为系统10中操作系统的一部分的客户端，或者由与生产注意力检测服务22的同一公司生产的客户端。在一个实施方案中，该公司可仔细地对某些客户端进行审核，然后授予他们对注意力检测服务22的授权。在一个实施方案中，可存在多个授权等级。最可信客户可具有对注意力检测服务22的自由访问。可信度较低的客户可具有有限制的访问权限(例如，可强制执行最小超时，可强制执行允许轮询的频率等)。

应当注意，在一些实施方案中，来自给定外围设备14A-14I的事件可由来自其他外围设备14A-14I的事件过滤，或者可用于过滤来自其他外围设备14A-14I的事件。例如，如果接近传感器检测到触摸屏14A上的触摸指示存在对象紧邻系统10(例如，口袋或用户的头部)，则该触摸可以是不指示注意力的假触摸。因此，接近传感器输出可被用于过滤触摸检测。

图8是计算机可访问存储介质200的一个实施方案的框图。一般来讲，计算机可访问存储介质可包括在使用期间能够被计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质可包括诸如磁性或光学介质的存储介质，例如，盘(固定或可拆卸)、带、CD-ROM、DVD-ROM、CD-R、CD-RW、DVD-R、DVD-RW或蓝光。存储介质可进一步包括易失性或非易失性存储器介质，诸如RAM(例如，同步动态RAM(SDRAM)、Rambus DRAM(RDRAM)、静态RAM(SRAM)等)、ROM或闪存存储器。存储介质可被物理地包括在存储介质将指令/数据提供至其的计算机中。另选地，存储介质可连接至计算机。例如，存储介质可通过网络或无线链路诸如网络附接存储装置而被连接至计算机。存储介质可通过外围接口诸如通用串行总线(USB)而被连接。通常，计算机可访问存储介质200可以非暂态方式存储数据，其中非暂态在该上下文中可指不通过信号传输指令/数据。例如，非暂态存储装置可为易失性的(并且响应于断电而可能丢失所存储的指令/数据)或为非易失性的。

图8中的计算机可访问存储介质200可存储形成客户端20A-20N、注意力检测服务22、事件处理器24和/或设备驱动器26的代码。客户端20A-20N、注意力检测服务22、事件处理器24和/或设备驱动器26可包括指令，该指令在被执行时实现上文针对这些部件所述的操作。具体地讲，注意力检测服务22可包括当在系统10上执行时实现图3-7的操作的指令。载体介质可包括计算机可访问存储介质以及诸如有线或无线传输的传输介质。

一旦充分了解了上面的公开，许多变型和修改对于本领域的技术人员而言将变得显而易见。本发明旨在使以下权利要求书被阐释为包含所有此类变型和修改。

Claims (14)

1.一种方法，包括：

针对指示用户潜在地与系统建立联系的多个事件监视系统中的多个外围设备，其中所述多个外围设备包括第一一个或多个外围设备和第二一个或多个外围设备，并且其中所述第一一个或多个外围设备中的每一个在使用期间比所述第二一个或多个外围设备中的每一个消耗更多功率，并且其中，在样本长度超时间隔期间，所述第一一个或多个外围设备不被采样；

响应于所述多个事件中的、来自所述第二一个或多个外围设备中的一个外围设备的第一事件，将潜在用户建立联系的指示发送到能够在所述系统上执行的多个客户端中的一个或多个客户端；

响应于所述样本长度超时间隔到期而没有检测到来自所述第二一个或多个外围设备的事件，对所述第一一个或多个外围设备进行采样；

在采样期间检测来自所述第一一个或多个外围设备中的一个外围设备的指示潜在用户建立联系的第三事件；以及

响应于检测到指示潜在用户建立联系的第三事件，向所述一个或多个客户端发送潜在用户建立联系的指示。

2.根据权利要求1所述的方法，其中所述第一一个或多个外围设备包括相机。

3.根据权利要求2所述的方法，其中所述相机被配置为检测用户的面部。

4.根据权利要求1所述的方法，其中所述第一一个或多个外围设备包括一个或多个被动传感器。

5.根据权利要求1所述的方法，进一步包括：响应于所述多个事件中的、来自所述第二一个或多个外围设备中的一个外围设备的第一事件，将当前超时更新为样本长度超时。

6.根据权利要求1所述的方法，进一步包括：响应于没有检测到所述第三事件，更新注意力丢失超时。

7.根据权利要求6所述的方法，进一步包括：

检测与所述一个或多个客户端中的第一客户端相关联的注意力丢失超时到期；以及

将丢失的建立联系的指示发送到所述第一客户端。

8.根据权利要求1所述的方法，进一步包括：

从所述一个或多个客户端中的第二客户端接收轮询请求，其中所述轮询请求指定当前建立联系的指示和用户建立联系在期间将被报告给所述第二客户端的轮询持续时间；

响应于所述多个事件中的第三事件，检测所述用户当前正在与所述系统建立联系；

响应于检测到所述用户当前正在付出注意力，将所述注意力的所述指示发送到所述第二客户端。

9.根据权利要求8所述的方法，进一步包括：

在所述轮询持续时间期间检测所述多个事件中的第二事件，其中所述第二事件在所述轮询请求中被指定为所述多个事件中被所述第二客户端解释成指示建立联系的一个事件；以及

响应于检测到所述第二事件并且在所述轮询请求被接收到时还没有检测到所述用户当前正在与所述系统建立联系，将注意力的所述指示发送到所述第二客户端。

10.根据权利要求8所述的方法，进一步包括：

在所述轮询持续时间期间没有检测到所述多个事件的情况下在接收到所述轮询请求之后的时间段期间检测超时；以及

响应于检测到所述超时，将建立联系丢失的指示发送到所述第二客户端。

11.根据权利要求8所述的方法，进一步包括：

检测所述轮询持续时间已到期；并且

响应于检测到所述轮询持续时间已到期，中断将建立联系的所述指示和建立联系丢失的指示发送到所述第二客户端。

12.根据权利要求8所述的方法，其中所述轮询请求进一步包括主动轮询间隔，并且所述方法进一步包括在所述主动轮询间隔期间轮询所述多个事件。

13.一种包括多个指令的计算机可访问存储介质，所述指令当在系统中执行时，实现根据权利要求1-12中任一项所述的方法。

14.一种系统，包括：

多个外围设备；和

处理系统，所述处理系统耦接到所述多个外围设备，其中所述处理系统包括一个或多个处理器，所述一个或多个处理器耦接至存储多个指令的存储器系统，其中所述多个指令当由所述一个或多个处理器执行时，实现根据权利要求1-12中任一项所述的方法。

Images