CN105144693A - 常开式相机取样策略 - Google Patents

Abstract

本发明实施例旨在提供高效利用常开式相机的智能取样策略。为此，实施例可利用传感器信息来确定与移动装置和/或所述移动装置的用户相关的情景信息。接着可以基于所述情景信息调制所述常开式相机的取样速率。

Description

常开式相机取样策略

背景技术

常开式相机是可以连续地以给定的取样速率捕捉图像或始终可用于捕捉图像的相机，这些图像可用于移动装置上的各种应用程序，例如生活记录、手势识别/辨别、室内户外推断等。随着移动装置(例如，移动电话、平板、头戴式或可穿戴相机、头戴式或仰视显示器等)的处理和存储能力持续增强，此类常开式相机的潜在功能也在增强。然而，相对于其它传感器，常开式相机的功率要求较高，并且常开式相机捕捉的许多图像仅有很少价值或没有任何价值。

发明内容

本发明实施例旨在提供高效利用常开式相机的智能取样策略。为此，实施例可利用传感器信息以确定与移动装置有关的情景信息，包含移动装置的用户的状态。从而可以基于情景信息调制常开式相机的取样速率。

根据描述，一种自适应调整常开式相机的传感器取样的示例性方法包含：致使与移动装置通信地耦合的相机以一取样速率取样，基于传感器输入确定所述移动装置的用户的状态，以及基于所述用户的所述确定的状态调制所述取样速率。

根据本发明，一种示例性移动装置包含存储器和处理单元，所述处理单元与存储器耦合，并经配置以执行包含以下各者的功能：致使与所述移动装置通信地耦合的相机以一取样速率取样，基于传感器输入确定所述移动装置的用户的状态，以及基于所述用户的所述确定的状态调制所述取样速率。

根据本发明，一种示例性设备包含：用于致使与移动装置通信地耦合的相机以一取样速率取样的装置，用于基于传感器输入确定所述移动装置的用户的状态的装置，以及用于基于所述用户的所述确定的状态调制所述取样速率的装置。

根据本发明，一种示例性非暂时性计算机可读媒体具有嵌入其上的指令，所述指令用于自适应调整常开式相机的传感器取样。所述指令包含计算机可执行代码，其用于致使与移动装置通信地耦合的相机以一取样速率取样，基于传感器输入确定所述移动装置的用户的状态，以及基于所述用户的所述确定的状态调制所述取样速率。

本文描述的项目和/或技术可提供以下能力以及其它未提到的能力中的一或多者。技术可提供提高的功率效率，这可导致安置有常开式相机的移动装置的电池寿命延长。实施例还可通过减少可能用处很小或无用的数据以提高数据效率。结合以下文本和附图将更详细地描述这些及其它实施例，以及许多优势和特征。

附图说明

图1是可以利用根据本文揭示的技术的常开式相机的不同移动装置的实施例的简化说明。

图2是简化输入/输出图，说明本发明的实施例如何能够在可以影响到可如何调制常开式相机的取样速率的情景确定中利用传感器和其它信息。

图3是建筑物地图的一部分的说明，所述建筑物地图在一些实施例中可用于地理围栏、基于相关处所(POR)的触发以及其它功能。

图4是根据一个实施例的用于自适应调整移动装置的常开式相机的传感器取样的过程400的流程图。

图5说明移动装置的实施例。

在附图中，相似的组件和/或特征可以有相同的附图标记。此外，通过在附图标记后面附随横划线和区分相似组件的第二标记可以区分相同类型的各种组件。如果在本说明书中仅使用了第一附图标记，则描述适用于任何一个具有相同的第一附图标记的相似组件，而与第二附图标记无关。

具体实施方式

参照附图提供以下描述，其中，通篇使用相同的附图标记来指代相同的元件。虽然本文描述的是一或多个技术的各种细节，但是其它技术也是可行的。在一些情况下，为了便于描述各种技术，结构和装置以框图形式示出。

本文提到的“指令”涉及表示一或多种逻辑操作的表达。例如，指令可以是可以通过机器进行解释的“机器可读取”的，用于对一或多个数据对象执行一或多个操作。然而，这仅仅是指令的一个示例，并且所要求保护的主题并不限于这方面。在另一示例中，本文提到的指令可涉及编码命令，其由具有包含这些被编码命令的命令集的处理单元来执行。此种指令可以以处理单元可理解的机器语言的形式进行编码。同样，这些仅仅是指令的示例，并且所要求保护的主题并不限于这方面。

移动装置中的常开式相机无需用户启动即可提供恒定的图像流。本文使用的术语“常开式相机”并不是按字面意义表示摄影头永远不能被关闭，也不是按字面意义表示相机真的一直处于开启状态。事实上，术语“常开式相机”用来描述一种在较长时间内连续可用的相机。此种功能可以作为移动装置的后台服务，用于可由移动装置执行的任何各种应用程序，例如生活记录、手势识别/辨认、室内户外推断等。虽然此功能可以在应用程序层面提供，但它也可以附加地或可选地在更低层面提供，例如集成到移动装置的操作系统、装置驱动程序和/或硬件中。通过不断拍摄图像，移动装置的常开式相机可有助于确保应用程序几乎总是有最新相机图像可用，而不是在等到请求相机图像后才用相机捕捉图像。

在实现常开式相机时可能出现一种困难，即常开式相机相对于其它组件功耗较高，可能快速耗尽移动装置的电池电量。例如，集成于例如移动电话和便携式游戏系统等移动装置内的现代相机，每捕捉一张图像能够消耗大约70-80mA。即使这种相对较高的功耗得以减少，常开式相机也因为所捕捉的图像的量而可能成为移动装置上的高耗电负担。因而，本文描述的技术提供智能取样策略以提高常开式相机的效率。

常开式相机可包含于和/或通信耦合于任何各种移动装置。例如，图1是可使用常开式相机的不同移动装置100的实施例的简化说明。移动装置100包含移动电话100-1、平板100-2以及头戴式显示器(HMD)100-3。尽管在图1中没有绘出，其它移动装置，例如个人数字助理(PDA)、笔记本电脑、个人媒体播放器、游戏装置、相机、录像机等，以及一或多种可分布在用户全身的可穿戴装置(例如，头盔相机和快照相机等)也可使用本文所揭示的技术。如下文参考图2更详细描述，多个装置(例如，可穿戴装置)可与情景确定引擎通信地连接和/或由其管理。此外，移动装置的风格、大小、功能和/或其它特征在相同类型的不同移动装置中可能有所不同。本领域的普通技术人员将认识到对所示组件所做的多种修改。

移动装置100可包含被放置在移动装置100上任何各种位置的一或多个相机110。例如，移动电话100-1可包含前置相机110-1和/或后置相机110-2。平板100-2也可包含前置相机110-3和/或位于其它表面(例如侧面和/或背面)上朝向其它方向的附加相机110-4。如图所示，HMD100-3可具有面朝外部的相机110-5，所述相机110-5位于HMD100-3的显示器120和/或HMD100-3的另一位置之间。

取决于期望的功能，移动装置100的任何或所有相机110可以用作常开式相机。虽然一些实施例可以利用专用于常开式功能的特殊相机，所述特殊相机具有可以适应常开式功能的特殊特征(例如广角、鱼眼、低功率、低分辨率等)，但实施例中可以附加地或替代地利用各种相机类型(例如红外线的、紫外线的、分光仪的、高分辨率的、前置的等)中的任何一种用于常开式功能。在移动装置100包含多个相机的实施例中，可以在一些情况下选择哪个相机用作常开式相机和/或可以在不同的相机之间切换。下面提供关于此功能的更多细节。

移动装置100的实施例可以与图1中所示的移动装置有实质性改变。除嵌入于移动装置100内的相机之外或作为替代，实施例可以包含在物理上与相机分离但通信地耦合到相机(例如通过无线或有线技术)的移动装置。其它传感器也可以在物理上与移动装置100分离，但与其通信地耦合，使得相机和/或其它传感器可以分布到例如用户身体上和/或身体周围的不同位置。

图2是简化的输入/输出图，其说明本文所描述的实施例如何能够在可以影响到可如何调制常开式相机的取样速率的情景确定中利用传感器和其它信息。这些情景确定可以由情景确定引擎280进行，情景确定引擎280由例如移动装置100的软件和/或硬件(如在下文中参考图5进一步详细说明)执行和/或可以是移动装置100的更大型软件和/或硬件应用程序的一部分和/或集成到更大型软件和/或硬件应用程序中。为了进行情景确定，情景确定引擎280可以接收来自各种组件的数据，这些组件包含光传感器210(其可以包含例如环境光传感器、紫外线(UV)传感器、UV-A传感器、UV-B传感器、红绿蓝(RGB)传感器等)、麦克风220、运动/定向传感器230(其可以包含例如一或多个陀螺仪、磁力计(和/或另外类型的罗盘)、加速计等)、相机110、无线通信接口240(其可以包含例如2G、3G、4G调制解调器、WiFi、蓝牙、蓝牙LE、WiMax等)、卫星定位传感器250和/或其它传感器260(例如高度计、近距离传感器、压缩成像传感器、温度传感器、压力传感器、接触传感器、指纹传感器等)。组件还可以包含地图270、运动模型290和/或应用程序数据295。本领域的普通技术人员将理解图2中所示的组件的各种修改。组件可以被例如增加、省略、合并和/或分离。取决于期望的功能，组件可以集成到移动装置100内和/或与移动装置100分离(例如通过有线和/或无线连接方式通信，如上文所述)。

一或多个相机110可以集成到和/或通信地耦合到移动装置100。此外，任何或全部相机110可以被指定为常开式相机。情景确定引擎280可以进行此指定。不仅常开式相机的取样速率可以受到情景确定引擎280的情景确定的影响，而且来自常开式相机(和/或其它相机110)的图像可以被处理用于进一步的情景确定。

本文的技术提供情景确定，可以导致对常开式相机的取样速率进行调制(取样速率可以是软件应用程序和/或硬件默认所选择的初始取样速率)。取样速率可以被调制成各种各样的取样速率中的任何一种。例如，初始取样速率可以是每4-5秒一次取样。然而，一些情景确定可以导致取样速率增加至每秒30次取样(即30帧/秒(FPS)或更多)。其它确定可以导致取样速率降低至例如每5分钟一次取样和/或完全地抑制取样。最终，情景确定可以导致取样速率从零(即无取样)到常开式相机的硬件和/或软件限制下的最高可行速率。附加地或者可替代地，如在下面更加详细地描述的，实施例可以提供基于情景确定选择性地触发常开式相机和/或选择性地激活多相机系统中的一些相机。

光传感器210可以包含多种光敏传感器中的任何一种，例如有源光传感器、RGB传感器、紫外线(UV)传感器等。这样的光传感器210通常比常开式相机消耗更少的电量，且可以用于确定移动装置100和/或移动装置的用户的情景。例如，一或多个光感应器210可以放置为用于确定常开式相机所暴露的光强度。如果检测到的光强度低于一定阈值，则情景确定引擎280可以确定常开式相机是在口袋内或包内或是在黑暗的房间内，在这种情况下，常开式相机的取样可以减少或暂停。

一些实施例可以具有可用作常开式相机的多个相机110。当照明条件可以随着相机的位置而变化、且一或多个光传感器210放置为与每一个相机对应时，情景确定引擎180可以基于来自光传感器210的光强度数据确定将多个相机110中的哪个用作常开式相机。

附加地或可替代地，情景确定引擎180可以使用运动/定向检测器230、运动模型290和/或光传感器210确定移动装置和/或常开式相机相对于用户的位置(例如在桌子上，或在用户的手中、袋子、衬衣口袋、裤兜、皮套内等)，并相应地调制常开式相机的取样速率。例如，如果检测到移动装置在口袋、袋子、包或皮套内和/或暴露于低于一定阈值的光下，则很可能会阻挡常开式相机的视野，且常开式相机的取样速率可以降低或停止。在常开式相机的捕捉图像被用于生活记录应用程序并用于自动收集用户的生活图片日志的情形下，当图片提供很少信息或无用信息时(例如在夜间)，当常开式相机在口袋、袋子等内时，所述功能可以导致避免不必要的图像捕捉并节约大量电量。运动/定向检测器230和/或运动模型290还可以使得情景确定引擎280能够确定携带移动装置100和/或与移动装置100相关联的用户的状态。用户的可确定的状态可以基于期望的功能而变化。实例包含行走中、跑动中、锻炼中、在旅途中和可以涉及可检测的移动和/或定向的其它此类活动。此外，用户状态可以影响如何调制常开式相机。例如，常开式相机可经配置以在用户状态指示户外移动的情况下(例如在用户环境可能频繁地改变的情况下)增加取样速率。另一方面，指示室内相对不活动状态的用户状态可以导致情景确定引擎280降低常开式相机的取样频率。

情景确定引擎280还能利用来自麦克风220的数据来检测一定音频活动和方向。这可以用于确定正在参加特定的活动(例如会议或谈话)。这可以用于调制常开式相机的取样频率，例如当检测到声音时增加取样。

在移动装置可以采用多个相机110中的任一个作为常开式相机的实施例中，来源于麦克风数据的音频方向性可以用于确定声音来自哪个方向。此时，可以将很可能面朝声音方向的相应相机指定为常开式相机，以基于当前的音频活动的方向捕捉图像，其也很可能保留信息量大的视觉信息，例如讲话者的身份、情感、表达、与音频活动相对应的视觉场景等。麦克风220可以包含一或多个低能耗麦克风活动检测器，以确定音频方向性。

所述功能可以用于例如具有多个相机110的移动装置100正在执行生活记录应用程序的情形。在会议情景中，用户可以将移动装置100放在桌子上，此时情景确定引擎280可以使用麦克风220和/或其它组件确定用户状态(例如“在会议中”)，并利用麦克风220的音频方向性信息以基于用户状态确定用哪个相机110取样和/或如何调制(例如增加或降低)相机的取样速率。当用户在其办公室工作时，情景确定引擎可以利用音频数据(例如使用音频环境聚集和/或其它音频分析技术)确定所述用户状态(例如“在办公室工作中”)，并基于用户状态降低取样速率或关闭常开式相机，直至观察到音频环境变化时为止。

情景确定引擎280也可以使用来自运动/定向检测器230的数据以确定情景信息，例如用户可以参加的活动(例如行走中、跑动中、在旅途中等)。来自运动/定向检测器230的数据可以与运动模型290(运动模型290可以对用户的不同活动和/或其它状态进行建模)比较以进行确定。例如，如果感测到的运动在某一活动的已建模运动的阈值相似度范围之内，那么情景确定引擎280可以确定所述用户是否在参加此活动。在一些实施例中，数据可以由分类器(例如绝对运动分类器或相对或全运动分类器)处理，或者由计步器模块或功能处理。

情景确定引擎280可以基于用户(例如用户状态)和/或移动装置100的速度、运动和/或所确定的情景来调制常开式相机的取样速率。例如，如果情景确定引擎280确定用户正在参加涉及相对大移动量的一些活动，例如跑动或跳跃。因而，情景确定引擎280可以减少或暂停来自常开式相机的取样。

同样地，情景确定引擎280通过估算来自运动/定向检测器230的速度和/或位置信息(可以使用例如卫星定位接收器250、能够提供定位和/或速度信息等的无线通信接口240等进行确定)可以确定用户在以一定的速度行进。如果所述速度在一定的阈值之上，情景确定引擎280可以减少或暂停来自常开式相机的取样，以降低捕捉模糊图像的可能性。附加地或可替代地，速度可以用于确定用户状态，然后用户状态可以用于确定能够如何对常开式相机的取样进行调制。

情景确定引擎280还可以使用来自运动/定向检测器230的定向信息，在结合一或多个其它组件时，基于所感知的定向和/或运动，确定是否调制常开式相机的取样速率和/或指定一个相机用于常开式功能。例如，如果常开式相机所拍得的先前图像被确定为在一些使用情况下(例如指向天空或天花板)不能提供信息，且移动装置100和/或常开式相机从那时起一直处于绝对静止状态，那么情景确定引擎280可以抑制常开式相机的图像捕捉。

地理围栏和基于相关处所(POR)的触发器也可以用于可以影响常开式相机的取样速率的情景确定中。图3是建筑物地图300的一部分的说明，可以用于地理围栏和/或基于POR的触发。在一些实施例中，建筑物地图300可以由建筑物服务器提供，用于室内定位和/或其它目的。可选地，移动装置100可以从数据通信网络例如互联网下载地图。建筑物地图300和/或其它地图可以包含在图2所示的地图270中，其可以至少部分地存储在移动装置的存储器内。应当理解，建筑物地图300被提供作为非限制性实例。本文所述的地理围栅和/或POR功能可以使用除建筑物地图以外的各种地图类型中的任何一种。

对于使用用于地理围栏的建筑物地图的实施例，情景确定引擎280可利用来自卫星定位传感器260的传感器数据、运动/定向检测器230和/或其它传感器数据，结合建筑物地图300，确定用户处在某个场所，这可影响到是否提高或降低常开式相机的取样速率。地图300中的一些场所可以被“标注”(即，关联有)指示用户活动的信息或其它情景信息，这可影响常开式相机取样的频率。例如，卫生间320和/或会议室310可以被标注以使得情景确定引擎280能够在确定移动装置位于这两者中的任一位置时推断一些用户活动。其它此类特殊用途的场所也可被标注以暗示一些用户活动(例如，自助餐厅、剧院、车库、卧室、电梯等)。

一些场所或许明显需要常开式相机采用相对较高或相对较低的取样速率。例如，在浴室、卧室、高度警备区和/或其它禁止或不鼓励图像捕捉的场所，取样速率可被降低/暂停。另一方面，常开式相机的取样速率可以因为一些POR而提高，例如在主题乐园和/或用户和/或应用程序可期望高图像捕捉率的其它场所。取决于期望的功能，用户可以界定POR的范围和/或利用可以影响所选取样速率的信息来标注一些POR。在一些实施例中，情景确定引擎280可维持和/或存取私密性设置，这些私密性设置可抑制或防止常开式相机拍摄图片。在一些实施例中，这些设置可由用户创建。在用户进入私密或安全区域且常开式相机将暂停图像捕捉时，实施例还可致使移动装置100提供提示(例如，使用声音、振动、显示屏指示等)。当用户退出私密或安全区域且常开式相机将恢复图像捕捉时，可以附加地或可替代地做出类似提示。

来自相机110的图像数据和/或其它信息(包含常开式相机捕捉的图像)可被情景确定引擎280利用，以周期循环和/或时间交错常开式相机的图像捕捉。可以对来自相机110的一或多个图像利用图像处理技术以检测移动，所述移动可指示移动装置周围环境的变化或某种活动正在发生。例如，从连续捕捉的图像中可以检测到移动。例如，如果相机面对的场景中捕捉到的最后两张图像中并未检测到移动，那么情景确定引擎280可以确定移动装置100的情景为静止，或者用户的状态包含用户所处环境几乎没有发生变化的活动，在这种情况下，情景确定引擎280可实施指数回退型工作周期以减少耗电。

附加地或可替代地，当移动装置具有多个相机时，移动装置可以循环使用这些相机(从每个交错捕捉图像)或者对所有相机进行同步捕捉。例如，当来自常开式相机的图像指示相机视野内没有或几乎没有发生移动时，情景确定引擎280可指定相机110中的另一相机作为常开式相机，从移动装置100的一个相机110循环至下一相机，直到检测到移动(和/或一些其它触发器)。在一些实施例中，情景确定引擎可选地同时或几乎同时同步一或多个相机110来捕捉图像。

情景确定引擎280可以进一步利用无线通信接口240进行可以影响常开式相机的取样速率的情景确定。无线通信接口240可以检测无线信号的存在，例如近场通信(NFC)信号、IEEE802.11(例如WiFi)、蓝牙(BT)、低功耗蓝牙(BT-LE)等。无线信号的变化可以指示移动装置的周围环境和/或位置的变化，包含无线装置的存在和/或消失。通过实例，装置附近的蓝牙装置的数量变化可能指示新的装置和/或人员已经进入或离开。此外，装置的数量变化的频率可以指示环境动态(例如与家中相比，购物中心可以具有更多的变化)。无线信号的此变化可以用作触发器以调制常开式相机的取样速率。也就是说，这种无线触发器可以表示移动用户的紧邻处已经改变，这可以导致常开式相机增加取样速率。无线通信接口240可以附加地或可替代地利用无线电接入技术(RAT)开关，例如当移动装置100从使用一种无线技术切换到另一种时，以确定无线信号的变化。

情景确定引擎280可以进一步利用从移动装置100所执行的一或多个应用程序所获得的应用程序数据295，其可以指示用户的状态。这样的数据可以包含但不限于日历信息、位置信息、社交媒体状态更新等。例如，来自日历应用程序的信息可以指示用户正在(或很可能在)会议中。基于用户的确定的状态，情景确定引擎可以选择相应地调制相机的取样速率以有助于确保捕捉适当数量的视觉信息。应用程序数据可以基于应用程序功能而显著变化。

再次参考图3，除提供地理围栏和/或POR相关信息外，建筑物地图300(或其它地图类型，例如房间、庭院等)可以用于确定常开式相机的视野中为何物(例如看向墙壁、天花板、窗外、舞台等)，这可以影响其取样速率。例如，使用建筑物地图300连同定向和/或位置信息，情景确定引擎280可以确定移动装置100在房间310内，且常开式相机面向墙壁313。由于墙壁很可能含有极少或不含有用的数据，所以情景确定引擎280可以降低常开式相机的取样速率。另一方面，如果房间310是会议室，且常开式相机被确定为面向投影仪屏幕315，那么可以增加取样速率。附加地或可替代地，在有多个相机可用的情况下，此信息可以用于确定将哪个(哪些)相机110用于取样(例如指定为常开式相机)，从视野中更可能包含相关事物的相机110进行取样。

取决于所处情形，上文所述的技术和/或传感器可以区分优先次序和/或彼此结合使用。例如，麦克风可以和建筑物地图数据一起用于确定将哪个(哪些)相机110指定为常开式相机。在另一实例中，根据光传感器210确定的情景信息可以优先于地理围栏信息，使得如果光传感器210表明常开式相机(和/或移动装置100)在用户的口袋内，即使移动装置100被确定为在会议室中(这本应该增加取样速率)，也将降低常开式相机的取样速率。

图4是根据一个实施例的用于自适应调整移动装置的常开式相机的传感器取样的过程400的流程图。过程400可以由移动装置100的各种硬件和/或软件组件执行，例如情景确定引擎280、传感器和/或图2中所说明的其它组件。特别地，用于执行过程400的装置可以包含例如专用的和/或通用的硬件，硬件可以被编程和/或可以另外地配置以执行所示过程400的全部或部分。下文参考图5对这类装置进行进一步详细描述。

过程400能可选地开始于方框410，基于情景信息，从多个相机中选择一或多个相机。此种信息可包含，例如，地图(可以指示相对于特定地图特征的相机视野)、定向和/或运动信息、声音方向性、先前捕捉的一或多个图像的特征等。如果只有很少或没有情景信息可用，或者如果情景不能轻易确定，那么例如广角相机或鱼眼相机等特定相机可被用作用于常开式功能的默认相机。用于执行方框410功能的装置可包含，例如一或多个处理单元、传感器和/或软件(例如，应用程序、操作系统等)，这些在下文图5中进一步详细地描述。

在方框420处，过程400包含：致使移动装置的相机以一取样速率取样。如上文所述，此种常开式功能可以是并入由移动装置执行的应用程序的后台服务、移动装置的操作系统、装置驱动程序和/或移动装置的物理层以提供无需用户输入的自动图像捕捉。初始取样速率可由用户和/或应用程序设置、相机默认设置、移动装置默认设置等确定。用于执行方框410的功能的装置可包含，例如一或多个处理单元、相机、无线通信接口和/或软件，这些在下文图5中进一步详细地描述。

在方框430中，基于传感器输入，确定移动装置的用户的状态。如上文所述，使用来自多种传感器中的任一者的输入和/或来自其它来源的信息可确定例如用户的状态等情景信息。如上所论述，可从相机、运动传感器、光传感器、定向传感器、麦克风、无线通信接口和/或卫星接收器接收数据。

确定用户的状态可包含：确定任何多种关于用户的情景信息。这可包含，例如：与所述移动装置的用户有关的所述移动装置的位置(例如在口袋、包、皮套中、在用户手中、在靠近用户的书桌上等)，由移动装置的用户参与的活动(例如，会议中，通话中，独处中，在看电视，在玩耍，在阅读，在写作，在与人会面，在看屏幕，在做演示，在进食，在购物，在烹饪，在参与谈话，在锻炼，在听音乐或在睡觉等)，用户的运动状态(例如，静止中，在行走，在跑动，在旅途中或在摆弄所述移动装置等)，移动装置的相关处所(POR)(例如可指示用户的状态的位置，例如在餐厅中、在公共汽车站、在会议室中等)，移动装置环境的改变(例如声音的改变、环境光线信息的改变、用户周围装置数量的改变、用户周围人数的改变等)，以及诸如此类。附加地或可替代地，确定用户的状态可包含：将用户的环境归类为多种预先确定的状态中的一或多种，例如在会议中、通电话中、独处时，以及诸如此类。这种环境分类可以源自关于POR的信息、移动装置的状态(例如通电话中)、传感器数据的信息和/或其它信息。确定用户的状态可附加地包含：从一或多个传感器中聚集传感器输入。例如，如果用户正在办公室中单独工作，则可使用音频环境聚集技术确定用户的此种状态。常开式相机对应的图像捕捉可被最小化或关闭，直至观察到音频环境的变化。用于执行方框410功能的装置可包含，例如一或多个处理单元、相机、无线通信接口、存储器(可用于例如存储运动模型、地图和/或其它数据)和/或软件，这些在下面参考图5进一步详细地描述。

在方框440中，基于用户的确定的状态调制取样速率。调制现有的取样速率可以包含提高或降低默认或初始的取样速率。在一些情况下，调制取样速率还可以包含抑制原本将按默认或初始速率进行取样的一或多次取样。如前所示，基于用户的确定的状态，取样速率实际上可以调制至常开式相机所能达到的任何速率。这可以包含例如完全暂停常开式相机的取样、提高图像捕捉速率至视频速率(例如每秒30个图像)或更高、或者选择这两者之间的任何取样速率。用于执行方框410功能的装置可以包含例如一或多个处理单元、相机、无线通信接口和/或软件，这些在下文参考图5进一步详细地描述。应该进一步指出的是，不仅用户的确定的状态可以影响到如何调制常开式相机的取样速率，而且来自常开式相机的图像可以用于确定用户状态。因而，确定用户状态可在常开式相机进行图像捕捉之前和之后发生。

应当认识到，图4所示的具体步骤提供用于自适应调整移动装置的常开式相机的传感器取样的示例性过程400。可替代的实施例可以包含所示实施例的变型。此外，可以取决于特定应用增加或移除其它特征。例如，在确定用户的状态之后，可以选择第二相机作为常开式相机。在多相机系统中，可以在多个摄影机之间轮换和/或同步地进行取样，如上文所论述。所属领域的技术人员将理解许多变化、修改和替换。

图5说明移动装置100的一个实施例，所述移动装置100可以包含和/或通信地耦合到常开式相机，如上文所述。移动装置100也可以经配置以执行由各种其它实施例所提供的方法，例如图4所示的过程400。应指出，图5仅用于提供各种组件的一般性说明，可适当利用其中任何或所有组件。此外，图5中所示的移动装置100的硬件和/或软件组件可经配置以实施图2所示的一或多个组件，例如情景确定引擎280、传感器等。

还应指出，图5所示的组件可被定位于单一的移动装置和/或分布于可以设置于不同的物理位置的多个联网装置。例如，一些实施例可以包含位于用户身体上或身体附近的不同位置处的分布式相机546和/或其它传感器540。例如，HMD式(用户头戴式)的常开式相机可以与用户口袋内的移动装置通信地耦合，且图5所示的组件可以取决于期望的功能按多种方式分布于HMD和移动装置中。

所示移动装置100包括可以通过总线505电气耦合(或以其它适当的方式通信)的硬件元件。硬件元件可以包含处理单元510，所述处理单元510可以包含但不限于一或多个通用处理器、一或多个专用处理器(例如数字信号处理器(DSP)、图形加速处理器、专用集成电路(ASIC)等)，和/或其它处理结构或装置，这些可以配置以执行本文所述的一或多个方法，包含图4的方法。移动装置100也可以包含一或多个输入装置570，其可以包含但不限于触摸屏、触摸板、按钮、拨号盘、开关等；以及一或多个输出装置515，其可以包含但不限于显示器、发光二极管(LED)、扬声器等。

移动装置100可能还包含无线通信接口530，其可包含但不限于调制解调器、网卡、红外通信装置、无线通信装置和/或芯片组(例如，蓝牙^TM装置、IEEE802.11装置、IEEE802.15.4装置、WiFi装置、WiMax装置、蜂窝通信装置等)等。因此，在一些实施例中还可以使用各种无线通信网络来实现与移动装置100来往的通信。这些网络可以包含，例如，广域无线网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、WiMax(IEEE802.16)等。CDMA网络可以实现一或多个无线电接入技术(RAT)，例如cdma2000、宽带-CDMA(W-CDMA)等。Cdma2000包含IS-95、IS-2000和/或IS-856标准。TDMA网络可实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或其它RAT。OFDMA网络可以实现长期演进(LTE)、LTE升级版等。在来自名为“第三代合作伙伴计划”(3GPP)联盟的文档中描述了LTE、LTE升级版、GSM以及W-CDMA。在来自名为“第三代合作伙伴计划2”(3GPP2)的文档中描述了Cdma2000。3GPP和3GPP2文档是公众可获得的。WLAN还可以是IEEE802.11x网络，而WPAN可以是蓝牙网络、IEEE802.15x、或其它某种类型的网络。本文所描述的技术也可用于WWAN、WLAN和/或WPAN的任意组合。无线通信接口530可允许数据与其它传感器、系统和/或本文中所述的任何其它电子装置直接进行交换。可以经由发送和/或接收无线信号534的一或多个无线通信天线532来进行通信。

无线通信接口530还可以用于确定移动装置100的位置。例如，接入点(包含用于无线语音和/或数据通信的基站和/或其它系统)可以用作位置数据的独立来源，例如通过实施例如基于RTT和/或RSSI测量的基于三边测量的程序。接入点可以是在建筑物中操作以执行比WWAN覆盖更小的地理区域的通信的WLAN的一部分。此外，接入点可以是WiFi网络(802.11x)、蜂窝微微基站和/或毫微微基站、蓝牙网络等的一部分。接入点也可形成高通室内定位系统(QUIPSTM)的一部分。

移动装置100还可以包含传感器540。如本文中所示，对应于图2中所述的传感器的传感器540可以包含从其中能够确定移动装置100的定向和/或运动的传感器，例如，一或多个加速计541、陀螺仪542、磁力计544等。移动装置100还可以包含其它传感器540，例如，麦克风565、光传感器546、近距离传感器以及如之前参考图2所述的更多的传感器。相机543可以包含任意数目的具有不同特征(RGB、红外、广角、鱼眼、高分辨率等)的相机，这些相机中的任何或者全部可以用作如本文中所述的常开相机。

移动装置的实施例还可以包含能够使用SPS天线582从一或多个SPS中接收信号584的卫星定位系统(SPS)接收器580。SPS接收器580可以对应于参照图2所述的卫星定位接收器250，所述卫星定位接收器250可提供关于移动装置的位置信息(例如，坐标)，以及由此衍生的信息(速度、加速度等)。发射卫星信号584可以包含，例如，标记有一定数量的芯片的重复伪随机噪声(PN)码的信号，并且可位于基于地面的控制站、用户设备和/或空间飞行器上。卫星定位系统可包含以下系统，例如全球定位系统(GPS)、伽利略、格洛纳斯、指南针、覆盖日本的准天顶卫星系统(QZSS)、覆盖印度的印度区域导航卫星系统(IRNSS)、覆盖中国的北斗等和/或各种增强系统(例如基于卫星的增强系统(SBAS))，以上可与一或多个全球和/或区域导航卫星系统相关联或者以其它方式启用以与一或多个全球和/或区域导航卫星系统一起使用。通过实例的方式而并非限制地，SBAS可以包含提供完整性信息、差分校正等的增强系统，例如，举例而言，广域增强系统(WAAS)、欧洲同步卫星导航覆盖服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和Geo增强导航系统(GAGAN)等。

移动装置100还可以包含存储器560(和/或与其通信)。存储器560可以包含但不限于，本地和/或网络可存取存储、磁盘驱动器、驱动器阵列、光存储装置、固态存储装置，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，以上可以是可编程的、可更新闪存的和/或类似的。这样的存储装置可以配置以实施任何适当的数据存储，包含但不限于，不同的文件系统、数据库结构等。

移动装置100的存储器560还可以包括软件元件(未示出)，包含操作系统、装置驱动程序、可执行文件库和/或其它代码，例如一或多个应用程序，所述一或多个应用程序可以包括由各种实施例提供的计算机程序，和/或可以被设计为实施方法，和/或配置由如本文所述的其它实施例提供的系统。仅仅通过实例的方式，关于以上所论述的方法的一或多个程序(例如参考图4所述的过程)可以实现为通过移动装置100(和/或移动装置100内的处理单元)(和/或定位系统的其它装置)可执行的代码和/或指令。在一个方面，这样的代码和/或指令则可用于配置和/或适配通用计算机(或其它设备)以根据所述方法执行一或多个操作。

对于本领域技术人员来说很明显地，可以根据具体需要做出各种变化。例如，也可以使用定制的硬件和/或在硬件、软件(包含便携式软件，例如小程序等)或两者中可以实施的特定元件。此外，也可以使用连接到例如网络输入/输出装置等其它计算机装置。

如上文所述，在一个方面中，一些实施例可以使用计算机系统(例如移动装置100)执行根据本发明的各种实施例的方法。根据一组实施例，响应于处理单元510执行包含在存储器560中一或多个序列的一或多个指令(其可能合并到操作系统和/或其它代码中)，这种方法的部分或全部程序通过移动装置100执行。仅仅通过实例的方式，执行包含在存储器560中一序列指令可致使处理单元510执行本文所述方法的一或多个程序。附加地或可替代地，本文所述方法的一部分可以通过专用硬件而执行。

本文所论述的方法、系统以及装置为实例。可以酌情为各实施例省略、替代或增加各种程序或组件。例如，可以在各个其它实施例中组合参考一些实施例描述的特征。可以用类似方式组合各实施例不同的方面和元件。本文提供的附图中的各种组件可以实现为硬件和/或软件。此外，由于技术的发展，许多元件是作为实例而并非将本发明的范围限制到这些具体的实例。

在描述中给出具体细节以提供对实施例的充分理解。然而，可以不采用这些具体细节来实践实施例。例如，已知的电路、过程、算法、结构和技术没有示出不必要的细节，以免使实施例模糊不清。本描述仅仅提供了示例性实施例，不旨在限制本发明的范围、适用性或配置。相反，本实施例的前述描述将为本领域技术人员提供用于实施本发明实施例的可行的描述。在不脱离本发明的精神及范围的情况下可对元件的功能及布置作出各种改动。

主要出于通用的原因而将这些信号称为比特、信息、数值、元件、符号、字符、变量、术语、数字、数字符号等，这有时证明是方便的。然而应理解，所有这些或类似的术语都与适当的物理量相关联，且仅仅是方便的标记。除非特别说明，否则，如从上述的论述中显而易见，应当理解的是，在整个本说明书论述中，使用例如“处理”、“计算”、“运算”、“确定”、“查明”、“识别”、“关联”、“测量”、“执行”等术语是指具体设备(例如专用计算机或类似的专用电子计算装置)的动作或处理。因此，在本说明书的上下文中，专用计算机或类似的专用电子计算装置能够操纵或变换信号，这些信号通常表示为专用计算机或类似的专用电子计算装置中的存储器、寄存器或其它信息存储装置、传输装置或显示装置内的物理电子的、电气的或磁的量。

如本文所用的“和”及“或”的术语可包含多种含义，这些含义还预期至少部分地取决于使用这类术语的上下文。通常，“或”如果用来关联列表，例如A、B、或C，则意图是指A、B和C，这里用于包含性含义，以及A、B或C，这里用于排他性含义。此外，如本文所用的术语“一或多个”可用于描述任何单数形式的特征、结构或特性，或可用于描述特征、结构或特性的一些组合。然而，应当指出的是，这仅仅是说明性示例，而要求保护的主题并不限于本示例。此外，术语“至少一者”如果用来关联列表，例如A、B、或C，则可被解释为意指A、B和/或C的任意组合，如A、AB、AA、AAB、AABBCCC等。

上述已描述了若干实施例，在不脱离本发明的精神的情况下可使用各种修改、替代结构以及等同方案。例如，以上元件可能仅仅是更大型系统的组件，其中其它规则可能优先于或以其它方式修改本发明的应用。此外，一些步骤可以在考虑以上元件之前、期间或之后进行。因此，上述说明不限制本发明的范围。

Claims (36)

1.一种自适应调整常开式相机的传感器取样的方法，所述方法包括：

致使与移动装置通信地耦合的相机以一取样速率取样；

基于传感器输入确定所述移动装置的用户的状态；以及

基于所述用户的所述确定的状态调制所述取样速率。

2.根据权利要求1所述的方法，其进一步包括：

基于情景信息从多个相机中选择所述相机；

其中致使所述相机以所述取样速率取样是基于所述相机的所述选择。

3.根据权利要求2所述的方法，其进一步包括确定所述情景信息，所述确定包括确定以下各者中的至少一者：

所述移动装置的位置或坐标，

与所述移动装置的所述用户相关的所述移动装置的位置，

由所述移动装置的所述用户参加的活动，

所述移动装置的相关处所，或

所述移动装置的环境的改变。

4.根据权利要求1所述的方法，其中所述用户的所述状态包括所述用户的运动状态。

5.根据权利要求4所述的方法，其中所述运动状态包括以下各者中的至少一者：

静止中，

在行走，

在跑动，

在旅途中，或

在摆弄所述移动装置。

6.根据权利要求1所述的方法，其中确定所述用户的所述状态包括：确定所述用户参与从以下活动列表中选出的至少一项活动：会议中、通话中、独处中、在看电视、在玩耍、在阅读、在写作、在与人会面、在看屏幕、在做演示、在进食、在购物、在烹饪、在参与谈话、在锻炼、在听音乐或在睡觉。

7.根据权利要求1所述的方法，其中：

所述取样速率包括默认速率；且

所述调制包括抑制原本将按所述默认速率取样的一或多次取样。

8.根据权利要求1所述的方法，其中所述传感器输入包括来自以下各者中的至少一者的数据：

所述相机，

运动传感器，

光传感器，

定向传感器，

麦克风，

无线通信接口，或

卫星接收器。

9.根据权利要求8所述的方法，其中所述确定包括聚集来自一或多个传感器的传感器输入。

10.根据权利要求1所述的方法，其进一步包括：基于建筑物的地图确定所述用户的所述状态。

11.根据权利要求1所述的方法，其进一步包括：基于从由所述移动装置执行的日历应用程序所接收的信息来确定所述用户的所述状态。

12.一种移动装置，其包括：

存储器；以及

处理单元，其与所述存储器耦合并经配置以执行包含以下的功能：

致使与所述移动装置通信地耦合的相机以一取样速率取样；

基于传感器输入确定所述移动装置的用户的状态；以及

基于所述用户的所述确定的状态调制所述取样速率。

13.根据权利要求12的所述移动装置，其中所述处理单元进一步经配置以：

基于情景信息从多个相机中选择所述相机；

其中致使所述相机以所述取样速率取样是基于所述相机的所述选择。

14.根据权利要求13所述的移动装置，其中所述处理单元经配置以通过确定以下各者中的至少一者来确定所述情景信息：

所述移动装置的位置或坐标，

与所述移动装置的所述用户相关的所述移动装置的位置，

由所述移动装置的所述用户参加的活动，

所述移动装置的相关处所，或

所述移动装置的环境的改变。

15.根据权利要求12所述的移动装置，其中所述处理单元经配置以通过确定所述用户的运动状态来确定所述用户的所述状态。

16.根据权利要求15所述的移动装置，其中所述处理单元经配置以将所述运动状态确定为以下各者中的至少一者：

静止中，

在行走，

在跑动，

在旅途中，或

在摆弄所述移动装置。

17.根据权利要求12所述的移动装置，其中所述处理单元经配置以通过确定所述用户参与从以下活动列表中选出的至少一项活动来确定所述用户的所述状态：会议中、通话中、独处中、在看电视、在玩耍、在阅读、在写作、在与人会面、在看屏幕、在做演示、在进食、在购物、在烹饪、在参与谈话、在锻炼、在听音乐或在睡觉。

18.根据权利要求12所述的移动装置，其中：

所述取样速率包括默认速率；且

所述处理单元经配置以通过抑制原本将按所述默认速率取样的一或多次取样来调制所述取样速率。

19.根据权利要求12所述的移动装置，其进一步包括以下各者中的至少一者：

所述相机，

运动传感器，

光传感器，

定向传感器，

麦克风，

无线通信接口，或

卫星接收器。

20.根据权利要求19所述的移动装置，其中所述处理单元经配置以通过聚集来自一或多个传感器的传感器输入来确定所述用户的所述状态。

21.根据权利要求12所述的移动装置，其中所述处理单元进一步经配置以基于建筑物的地图来确定所述用户的所述状态。

22.根据权利要求12所述的移动装置，其中所述处理单元进一步经配置以基于从由所述移动装置执行的日历应用程序所接收的信息来确定所述用户的所述状态。

23.根据权利要求12所述的移动装置，其中所述移动装置包括头戴式显示器。

24.根据权利要求12所述的移动装置，其中所述移动装置包括移动电话。

25.一种设备，其包括：

用于致使与移动装置通信地耦合的相机以一取样速率取样的装置；

用于基于传感器输入确定所述移动装置的用户的状态的装置；以及

用于基于所述用户的所述确定的状态调制所述取样速率的装置。

26.根据权利要求25所述的设备，其进一步包括：

用于基于情景信息从多个相机中选择所述相机的装置；

其中所述用于致使所述相机以所述取样速率取样的装置经配置以基于对所述相机的所述选择来致使所述相机以所述取样速率取样。

27.根据权利要求26所述的设备，其中所述用于确定所述用户的所述状态的装置包括用于确定以下各者中的至少一者的装置：

所述移动装置的位置或坐标，

与所述移动装置的所述用户相关的所述移动装置的位置，

由所述移动装置的所述用户参加的活动，

所述移动装置的相关处所，或

所述移动装置的环境的改变。

28.根据权利要求25所述的设备，其中所述用于确定所述用户的所述状态的装置包括用于确定所述用户的运动状态的装置。

29.根据权利要求28所述的设备，其中所述用于确定所述用户的所述运动状态的装置包括用于确定所述用户处于以下各者中的至少一者的装置：

静止中，

在行走，

在跑动，

在旅途中，或

在摆弄所述移动装置。

30.根据权利要求25所述的设备，其中所述用于确定所述用户的所述状态的装置包括用于确定所述用户参与从以下活动列表选出的至少一项活动的装置：会议中、通话中、独处中、在看电视、在玩耍、在阅读、在写作、在与人会面、在看屏幕、在做演示、在进食、在购物、在烹饪、在参与谈话、在锻炼、在听音乐或在睡觉。

31.根据权利要求25所述的设备，其中：

所述取样速率包括默认速率；且

所述用于调制所述取样速率的装置包括用于抑制原本将按所述默认速率取样的一或多次取样的装置。

32.根据权利要求25所述的设备，其进一步包括用于从以下各者中的至少一者接收所述传感器输入的装置：

所述相机，

运动传感器，

光传感器，

定向传感器，

麦克风，

无线通信接口，或

卫星接收器。

33.根据权利要求32所述的设备，其进一步包括用于聚集来自一或多个传感器的传感器输入的装置。

34.根据权利要求25所述的设备，其进一步包括用于基于建筑物的地图来确定所述用户的所述状态的装置。

35.根据权利要求25所述的设备，其进一步包括用于基于从由所述移动装置执行的日历应用程序所接收的信息来确定所述用户的所述状态的装置。

36.一种非暂时性计算机可读媒体，其具有嵌入其上的指令，所述指令用于自适应调整常开式相机的传感器取样，所述指令包含计算机可执行代码，用于：

致使与移动装置通信地耦合的相机以一取样速率取样；

基于传感器输入确定所述移动装置的用户的状态；以及

基于所述用户的所述确定的状态调制所述取样速率。