CN105284102B - 计算机视觉应用处理 - Google Patents

计算机视觉应用处理 Download PDF

Info

Publication number
CN105284102B
CN105284102B CN201480033498.XA CN201480033498A CN105284102B CN 105284102 B CN105284102 B CN 105284102B CN 201480033498 A CN201480033498 A CN 201480033498A CN 105284102 B CN105284102 B CN 105284102B
Authority
CN
China
Prior art keywords
image
feature
subset
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480033498.XA
Other languages
English (en)
Other versions
CN105284102A (zh
Inventor
F·约翰·阿希巴尔德
K·M·拉比
H·B·达梅沙拉
T·雅罗新斯基
A·史汪明纳桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105284102A publication Critical patent/CN105284102A/zh
Application granted granted Critical
Publication of CN105284102B publication Critical patent/CN105284102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Power Sources (AREA)

Abstract

本发明揭示用以增强计算机视觉应用处理的方法、系统及技术。特定来说，所述方法、系统及技术可减少用于计算机视觉应用的电力消耗且提高计算机视觉应用的处理效率。

Description

计算机视觉应用处理
优先权主张
本申请案主张2013年6月14日申请的标题为“减少计算机视觉电力使用的图像统计处理(IMAGE-STATISTIC PROCESSING TO REDUCE COMPUTER VISION POWER USAGE)”的第61/835,400号美国临时专利申请案、2013年8月29日申请的标题为“识别图像的背景的系统和方法(SYSTEM AND METHOD TO IDENTIFY ACONTEXT OF AN IMAGE)”的第61/871,678号美国临时专利申请案及2014年6月12日申请的标题为“计算机视觉应用处理(COMPUTERVISION APPLICATION PROCESSING)”的第14/303,491号美国非临时专利申请案的优先权，所述申请案的内容以全文引用的方式并入。
技术领域
本发明大体上涉及计算机视觉应用处理。
背景技术
技术的进步已导致较小且较强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如较小、轻重量且易于由用户携带的便携式无线电话、个人数字助理(PDA)和寻呼装置。更具体来说，便携式无线电话(例如，蜂窝式电话和因特网协议(IP)电话)可经由无线网络传递语音和数据包。此外，许多此类无线电话包含并入其中的其它类型装置。举例来说，无线电话还可包含数字静态相机、数码摄像机、数字记录器和音频文件播放器。而且，所述无线电话可处理可执行指令，其包括可用以接入因特网的软件应用程序，例如，网页浏览器应用程序。由此，这些无线电话可以包含大量计算能力。
无线电子装置(例如，无线电话)可具有以给定的数据取样频率俘获图像的图像传感器。所述图像传感器可响应于内部或外部触发而俘获图像。外部触发的实例是用户到通信装置的接近。为了说明，无线电子装置可响应于检测到与用户相关联的声音而触发图像传感器。内部触发的实例是无线电子装置的资源的可用性。为了说明，无线电子装置可响应于确定多于阈值量的电池电力可用而触发图像传感器。
另外，无线电子装置可利用计算机视觉技术实施多种计算机视觉应用。例如，计算机视觉技术可以用于安全应用(例如，监视、入侵检测、物体检测、面部辨识等)、环境用途应用(例如，照明控制)、物体检测及跟踪应用等。计算机视觉技术还可用于边缘检测、光学字符辨识(OCR)、面部检测等。
计算机视觉应用可消耗大量电力。例如，计算机视觉应用可对视频流中的每一帧应用应用专有处理以确定是否存在警告事件。为了说明，如果计算机视觉应用经设计以检测物体是否处于视野中(例如，警告事件)，那么每一帧可经受应用专有处理以确定物体是否处于所述帧中。对每一帧执行应用专有处理可消耗大量电力。
对于一些计算机视觉应用，无线电子装置可计算图像或帧的视觉描述符。所述视觉描述符可以用于生活记录、手势识别/辨识、室内-室外推断及更多。计算所有图像或帧的视觉描述符可为资源密集的且无线电子装置可具有有限的资源。此外，由相机俘获的许多图像可具有极少或不具有价值。例如，由相机周期性地俘获的图像可相同或几乎相同。
发明内容
揭示用于减少计算机视觉应用的电力使用的方法和系统。可经由相机俘获视频流(例如，一组时间排序静态图像)且所述视频流的个别帧可经受处理(例如，统计处理)。例如，统计产生器可确定所述视频流的每一帧的图像统计。所述图像统计可包含每一帧的强度直方图、每一帧的色彩直方图、每一帧中的特定像素(例如，特定行的像素或特定列的像素)的像素值的总和，或其组合。改变检测电路可确定第一帧的第一图像统计与第二帧的第二图像统计之间的差异是否满足阈值。如果所述差异不满足阈值，那么可忽略或绕过对所述第二帧的计算机视觉应用专有处理以节约电力。如果所述差异满足阈值，那么改变检测电路可将反馈信号提供给选择电路以激活(例如，唤醒)“高功率”处理路径。例如，所述高功率处理路径可包含应用处理器(例如，用于执行计算机视觉应用的处理器)以对第二帧执行计算机视觉应用专有处理。在一些实例中，可基于不同条件在不同时间启用不同的处理路径或其部分。
作为计算机视觉应用专有处理的非限制性实例，应用处理器可在需要时提取特征(例如，视觉描述符)或一组特征，而不是一次提取全部。例如，应用处理器可提取第二帧的特征(例如，视觉描述符)的第一子集以识别第二帧的背景(例如，位置)。例如，应用处理器可提取与第二帧相关的边缘信息。应用处理器可确定与特征的第一子集相关联的置信水平不满足阈值置信水平。基于所述确定，应用处理器可提取第二帧的更多特征(例如，特征的第二子集)。例如，应用处理器可从第二帧的较高分辨率副本提取边缘信息。作为另一实例，应用处理器可提取第二帧的色彩信息。应用处理器可确定与第二帧的所述额外的所提取的特征相关联的置信水平满足阈值置信水平且可使用所述额外的所提取的特征确定帧的背景。
应用处理器可具有处理资源(例如，处理核心)的分层结构对第二帧执行计算机视觉应用专有处理。例如，例如，第一处理资源(例如，“低功率”处理资源)可对第二帧执行第一计算机视觉应用专有处理。如果第一处理资源确定第二帧需要在第一处理资源的能力之外的额外的计算机视觉应用专有处理(例如，第二计算机视觉应用专有处理)，那么第一处理资源可请求第二处理资源(例如，“高功率”处理资源)对第二帧执行第二计算机视觉应用专有处理(例如，唤醒第二处理资源)。在某些实施例中，所述第二处理资源可对第二帧执行所述第一和第二计算机视觉应用专有处理，使得可减活第一处理资源(例如，进入“休眠”状态)以节约电力。在其它实施例中，所述第二处理资源可“拒绝”对第二帧执行第二计算机视觉应用专有处理，告知/编程第一处理资源执行第二计算机视觉应用专有处理，且进入休眠状态中以节约电力。
在特定实施例中，一种方法包含在改变检测电路处基于由传感器俘获的第一传感器数据及由传感器俘获的第二传感器数据之间的改变量而产生控制信号，其中所述改变检测电路包含在第一处理路径中。所述方法还包含基于所述控制信号而将第二传感器数据提供给第二处理路径以用于计算机视觉应用专有处理。
在另一特定实施例中，一种设备包含改变检测电路，其经配置以基于由传感器俘获的第一传感器数据及由传感器俘获的第二传感器数据之间的改变量而产生控制信号，其中所述改变检测电路包含在第一处理路径中。所述设备还包含经配置以基于所述控制信号而对所述第二传感器数据执行计算机视觉应用专有处理的第二处理路径。
在另一特定实施例中，一种设备包含用于基于由传感器俘获的第一传感器数据及由传感器俘获的第二传感器数据之间的改变量而产生控制信号的装置，其中所述用于产生所述控制信号的装置包含在第一处理路径中。所述设备还包含用于基于所述控制信号而对所述第二传感器数据执行计算机视觉应用专有处理的装置，其中所述用于执行所述计算机视觉应用专有处理的装置包含在第二处理路径中。
在另一特定实施例中，一种非暂时性计算机可读媒体包含指令，所述指令在由处理单元执行时致使所述处理单元在改变检测电路处基于由传感器俘获的第一传感器数据及由传感器俘获的第二传感器数据之间的改变量而产生控制信号，其中所述改变检测电路包含在第一处理路径中。所述指令还可执行以致使所述处理单元基于所述控制信号而将第二传感器数据提供给第二处理路径以用于计算机视觉应用专有处理。
在另一特定实施例中，一种方法包含在移动装置处从图像传感器接收感测数据，其中所述感测数据涉及图像。所述方法还包含从所述感测数据提取所述图像的特征的第一子集且基于特征的第一子集满足分析准则而从所述感测数据提取图像的特征的第二子集。所述方法进一步包含至少部分基于特征的第二子集而产生指示图像的背景的背景数据。
在另一特定实施例中，一种设备包含经配置以从图像传感器接收感测数据的处理器，其中所述感测数据涉及图像。所述处理器还经配置以从所述感测数据提取特征的第一子集，特征的第一子集是基于选择准则而被选择。所述处理器进一步经配置以至少部分基于特征的第一子集而产生指示图像的背景的背景数据。
在另一特定实施例中，一种设备包含用于从图像传感器接收感测数据的装置，其中所述感测数据涉及图像。所述设备还包含用于从感测数据提取特征的第一子集的装置，所述特征的第一子集是基于选择准则而被选择。所述设备进一步包含用于至少部分基于特征的第一子集而产生指示图像的背景的背景数据的装置。
在另一特定实施例中，一种计算机可读存储媒体包含指令，所述指令在由处理器执行时致使所述处理器执行操作。所述操作包含从第一图像传感器接收第一感测数据，其中所述第一感测数据涉及第一图像。所述操作还包含从第一感测数据提取第一图像的特征的第一子集且基于特征的第一子集满足分析准则而向第二图像传感器请求第二感测数据，其中所述第二感测数据涉及第二图像。所述操作进一步包含：从第二图像传感器接收第二感测数据；从第二感测数据提取第二图像的特征的第二子集；及至少部分基于特征的第二子集而产生指示第一图像的背景的背景数据。
由所揭示的实施例中的至少一者提供的一个特定优点是减少由用于执行计算机视觉应用的应用处理器消耗的电力的量。例如，可响应于确定特定帧及前一帧大体上类似(例如，基于帧的图像统计的比较)而绕过对特定帧的应用专有处理。绕过应用专有处理可节约电池电力。
由所揭示的实施例中的至少一者提供的另一特定优点是使得能够识别图像背景。例如，可通过提取少于图像的全部特征来识别图像的背景。可实现计算成本中的显著减少及电力使用的对应减少。在检视整个申请案后，将明白本发明的其它方面、优点和特征，申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1是视频流的图像帧及所述图像帧的对应像素表示的特定说明性实施例的图；
图2是视频流的图像帧的部分像素表示的特定说明性实施例的框图；
图3是可操作以基于图像统计而减少与计算机视觉应用相关联的电力使用的处理系统的特定说明性实施例的框图；
图4是可操作以减少与计算机视觉应用相关联的电力使用的处理系统的特定说明性实施例的图；
图5是可操作以减少与计算机视觉应用相关联的电力使用的处理系统的另一特定说明性实施例的图；
图6是可操作以减少与计算机视觉应用相关联的电力使用的处理系统的另一特定说明性实施例的图；
图7是图6的第二处理路径的图；
图8是可操作以减少与计算机视觉应用相关联的电力使用的处理系统的另一特定说明性实施例的图；
图9是可操作以减少与计算机视觉应用相关联的电力使用的处理系统的另一特定说明性实施例的图；
图10是说明部分功率模式中的图9的处理系统的图；
图11是说明全功率模式中的图9的处理系统的图；
图12是可利用永启相机识别图像的背景的移动装置的特定说明性实施例的框图；
图13是说明装置的实施例可如何在背景确定中利用传感器及其它信息的输入/输出图的图，其可影响对永启相机的取样速率的调制；
图14是用以识别图像的背景的系统的特定说明性实施例的框图；
图15说明与提取图像的特征的子集相关联的计算间隔；
图16是用以识别图像的背景的系统的另一特定实施例的图；
图17是用以识别图像的背景的系统的另一特定实施例的图；
图18是用以识别图像的背景的系统的另一特定实施例的图；
图19是用以识别图像的背景的系统的另一特定实施例的图；
图20是用以识别图像的背景的系统的另一特定实施例的图；
图21是用以识别图像的背景的系统的另一特定实施例的图；
图22是用以识别图像的背景的系统的另一特定实施例的图；
图23是用以识别图像的背景且可耦合到图21的系统的系统的另一特定实施例的图；
图24是用以识别图像的背景且可耦合到图22的系统的系统、图23的系统或两者的另一特定实施例的图；
图25是用以识别图像的背景且可耦合到图24的系统的系统的另一特定实施例的图；
图26是用以识别图像的背景且可耦合到图24的系统的系统、图25的系统或两者的另一特定实施例的图；
图27是用以识别图像的背景且可耦合到图24的系统的系统、图26的系统或两者的另一特定实施例的图；
图28是说明与提取测试图像的特征的各种子集相关联的执行时间的实例的条形图；
图29是说明与提取测试图像的特征的各种子集相关联的存储器使用的实例的条形图；
图30是基于图像统计而减少与计算机视觉应用相关联的电力使用的方法的特定实施例的流程图；
图31是说明识别图像的背景的方法的特定实施例的流程图；
图32是说明识别图像的背景的方法的另一特定实施例的流程图；
图33是说明识别图像的背景的方法的另一特定实施例的流程图；
图34说明识别图像的背景的方法的另一特定实施例的流程图；
图35是减少与计算机视觉应用相关联的电力使用的方法的特定实施例的流程图；
图36是移动装置的说明性实施例的图；
图37是包含可操作以减少与计算机视觉应用相关联的电力使用的组件的无线装置的框图；及
图38是可操作以识别图像的背景的装置的特定说明性实施例的框图。
具体实施方式
参看图1，展示视频流的图像帧及图像帧的对应像素表示的特定说明性实施例。例如，所述视频流可包含图像数据的第一帧102、图像数据的第二帧104及图像数据的第三帧106。在特定实施例中，第一帧102、第二帧104及第三帧106可为视频流中的连续图像帧。
所述视频流可经受应用专有处理(例如，计算机视觉应用处理)。例如，在特定说明性实施例中，所述视频流可经受手辨识应用(例如，经受检测手是否处于视野中的处理)。然而，在其它实施例中，所述视频流可经受其它计算机视觉应用。例如，所述视频流可经受安全应用(例如，监视、入侵检测、物体检测、面部辨识等)、环境用途应用(例如，照明控制)、物体检测及跟踪应用等。
在图1中说明的帧中，手不存在(例如，可见)于第一帧102的视野中，手的一部分在第二帧104的视野中可见，且手在第三帧106的视野中完全可见。第一帧102的特征可在于第一像素表示112中的像素，第二帧104的特征可在于第二像素表示114中的像素，且第三帧106的特征可在于第三像素表示116中的像素。
处理系统内的低功率装置(图1中未展示)可在俘获每一帧102到106之后产生视频流中的每一帧102到106的图像统计。例如，所述低功率装置可基于对应的像素表示112到116而产生每一帧102到106的图像统计。对于灰度级图像帧，像素表示112到116中的每一像素可对应于零(0)与二百五十五(255)之间的强度值。强度值零可对应于白色像素，且强度值二百五十五可对应于黑色像素。低功率装置可确定特定帧102到106中的每一像素的强度值且基于每一强度值的计数而产生特定帧102到106的强度直方图。例如，低功率装置可产生第一帧102的第一强度直方图、第二帧104的第二强度直方图及第三帧106的第三强度直方图。
对于多频谱图像帧，像素表示112到116中的每一像素可对应于特定色彩值。所述色彩值可基于像素中的红色(R)、绿色(G)及蓝色(B)的集中度。低功率装置可确定特定帧102到106中的每一像素的色彩值且基于每一色彩值的计数而产生特定帧102到106的色彩直方图。例如，低功率装置可产生第一帧102的第一色彩直方图、第二帧104的第二色彩直方图及第三帧106的第三色彩直方图。
处理系统内的大功率装置(图1中未展示)可对视频流中的特定帧执行应用专有处理。例如，在特定说明性实施例中，应用专有处理可包含确定特定物体(例如，手)是否处于选定帧中。在其它实施例中，应用专有处理可包含确定是否触发警告事件。警告事件可对应于帧之间的条件中的改变。作为说明性、非限制性实例，警告事件可对应于患者掉落床、房屋入侵、汽车驶入车道、人走过门等。在低功率装置处产生图像统计可比在大功率装置处执行应用专有处理消耗更少的电力。例如，产生第二图像统计可比对第二帧104执行应用专有处理消耗更少的电力。
在操作期间，相机(例如，摄像机)可在第一时间处俘获第一帧102且处理系统可对第一帧102执行图像处理。例如，低功率装置可产生第一帧102的第一图像统计(例如，第一强度直方图及/或第一色彩直方图)，且大功率装置可对第一帧102执行应用专有处理以确定手在第一帧102中是否可见。在处理第一帧102之后，相机可在第二时间处俘获第二帧104。低功率装置可产生第二帧104的第二图像统计。如果大功率装置确定手在第一帧102中不可见，那么处理系统内的统计处理装置108可将第二图像统计与第一图像统计进行比较以确定是否对第二帧104执行应用专有处理(例如，以确定手在第二帧104中是否可见)。在另一特定实施例中，执行应用专有处理可包含确定是否已经触发警告事件。例如，警告事件可对应于第一帧102与第二帧104之间的条件中改变。
例如，统计处理装置108可接收第一图像统计及第二图像统计(例如，第N图像统计)。统计处理装置108可确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值。如果所述改变量不满足阈值，那么处理系统可仅执行对第二帧104的部分处理(例如，以产生第二帧104的第二图像统计)且可绕过或放弃对第二帧104的应用专有处理。如果改变量满足阈值，那么处理系统可通过产生第二图像统计以及对第二帧104执行应用专有处理而对第二帧104执行更完整的处理。
对于灰度级图像，当第一强度直方图中的特定强度值的像素的第一计数与第二强度直方图中的特定强度值的像素的第二计数之间的差异大于特定值时，所述第一改变量可满足阈值。所述阈值可为用户选定的阈值。作为非限制性实例，第一像素表示112及第二像素表示114可各自包含两千万(20,000,000)像素(例如，第一和第二帧102、104是20百万像素图像)。第一像素表示112可包含一千一百万(11,000,000)白色像素(例如，一千一百万像素具有强度值零)且第二像素表示114可包含一千零五十万(10,500,000)白色像素(例如，五十万像素的差异)。如果阈值是十万像素，那么第一改变量(例如，所述差异)满足所述阈值且处理系统可对第二帧104执行应用专有处理以确定手在第二帧104中是否可见。如果所述阈值是一百万像素，那么所述第一改变量未能满足所述阈值且处理系统可绕过对第二帧104的应用专有处理以节约电力。
对于多频谱图像帧，当第一色彩直方图中的特定色彩值的像素的第一计数及第二色彩直方图中的特定色彩的像素的第二计数大于特定值时，所述第一改变量可满足阈值。作为非限制性实例，第一像素表示112及第二像素表示114可各自包含二十百万像素。第一像素表示112可包含五百万红色像素且第二像素表示114可包含八百万红色像素(例如，三百万像素的差异)。如果阈值是两百万像素，那么第一改变量(例如，所述差异)满足所述阈值且处理系统可对第二帧104执行应用专有处理以确定手在第二帧104中是否可见。如果阈值是四百万像素，那么第一改变量未能满足所述阈值且处理系统可绕过对第二帧104的应用专有处理以节约电力。特定值范围可以基于特定计算机视觉应用而用于所述阈值。例如，与手检测(或面部检测)相关联的计算机视觉应用可集中于与肤色相关联的色彩。
在处理第二帧104之后，处理系统可处理第三帧106。例如，低功率装置可产生第三帧106法第三图像统计(例如，第三强度直方图及/或第三色彩直方图)。如果绕过对第二帧104法应用专有处理，那么统计处理装置108可确定第三图像统计与第二图像统计之间的第二改变量是否满足阈值。如果第二改变量满足所述阈值，那么大功率装置可对第三帧106执行应用专有处理以确定手在第三帧106中是否可见。如果第二改变量不满足所述阈值，那么大功率装置可绕过对第三帧106的应用专有处理以节约能量。
在特定实施例中，统计处理装置108可确定第三图像统计与第一图像统计之间的第三改变量是否满足阈值。如果第三改变量满足所述阈值，那么可对第三帧106执行应用专有处理，且如果第三改变量未能满足所述阈值，那么可绕过对第三帧106的应用专有处理。基于第三改变量执行应用专有处理可降低归因于发生在帧之间的最终导致大改变的小改变(例如，图像统计中的小改变)而错过警告事件(例如，可见手)的可能性。另外，可基于不满足阈值的确定而跳过(例如，绕过)对不确定数目的帧的全处理。在特定实施例中，可周期性地刷新图像统计且可对任何第N帧执行全处理，即使第N帧不满足阈值也如此。
绕过对具有类似于前一帧的图像统计的特定帧的应用专有处理可节约电子装置中的电力。例如，应用专有处理可利用处理系统内的大功率装置。通过使用低功率装置(例如统计处理装置108)产生及/或评估每一帧的统计，可作出特定帧实质上相同且仅需要对相同帧中的一者执行应用专有处理的确定。因此，可通过放弃对相同帧的应用专有处理而节约电力。
参看图2，展示视频流的图像帧的部分像素表示的特定说明性实施例。例如，图1的第一帧102的特征可在于第一部分像素表示212且图1的第二帧104的特征可在于第二部分像素表示214。
第一部分像素表示212可包含像素的第一行202、像素的第一列204或两者。像素的第一行202及像素的第一列204可选择包含在图1的第一像素表示112中的像素。第二部分像素表示214可包含像素的第二行222、像素的第二列224或两者。像素的第二行222及像素的第二列224可选择包含在图1的第二像素表示114中的像素。在特定实施例中，像素的第一行202可对应于表示第一帧102中的区域的像素，且像素的第二行222可对应于表示第二帧104中的相同区域的像素。另外，像素的第一列204可对应于表示第一帧102中的区域的像素，且像素的第二列224可对应于表示第二帧104中的相同区域的像素。
低功率装置可基于像素的第一行202、像素的第一列204或其组合而产生第一帧102的第一图像统计。例如，第一图像统计可对应于像素的第一行202的像素值的第一总和(例如，rowsum[])。或者或另外，第一图像统计可对应于像素的第一列204的像素值的第一总和(例如，columnsum[])。大功率装置可对第一帧102执行应用专有处理以确定手在第一帧102中是否可见。在特定实施例中，第一图像统计可对应于像素的两个或更多个行中的像素值的总和、像素的两个或更多个列的总和，或像素的一或多个行及像素的一或多个列的总和。
在处理第一帧102之后，低功率装置可基于像素的第二行222、像素的第二列224或其组合而产生第二帧104的第二图像统计。例如，第二图像统计可对应于第二行222的像素值的第二总和。或者或另外，第二图像统计可对应于像素的第二列224的像素值的第二总和。在特定实施例中，第二图像统计可对应于像素的两个或更多个行中的像素值的总和、像素的两个或更多个列的总和，或像素的一或多个行及像素的一或多个列的总和。
如果大功率装置确定手在第一帧102中不可见，那么统计处理装置108可将第二图像统计与第一图像统计进行比较以确定是否对第二帧104执行应用专有处理(例如，确定手在第二帧104中是否可见)。例如，统计处理装置108可确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值。如果改变量不满足所述阈值，那么处理系统可仅执行对第二帧104的部分处理(例如，产生第二帧104的第二图像统计)且可绕过或放弃对第二帧104的应用专有处理。如果所述改变量满足阈值，那么处理系统可通过产生第二图像统计以及对第二帧104执行应用专有处理而对第二帧104执行更完整的处理。
当像素值的第一总和与像素值的第二总和之间的差异大于特定值时，第一改变量可满足阈值。例如，在说明性实施例中，当第一图像统计对应于像素的第一列204中的像素值的总和且第二图像统计对应于像素的第二列224中的像素值的总和时，第一改变量可未能满足阈值。像素的第一列204中的每一像素是白色像素(例如，具有强度值零的像素)。因此，像素的第一列204的强度值的总和可等于零。类似地，像素的第二列224中的每一像素是白色像素。因此，第二列224的强度值的总和可等于零。因此，基于像素值的第一总和与像素值的第二总和的比较，第一改变量可不满足阈值。因此，可绕过对第二帧104的应用专有处理。
然而，当第一图像统计对应于像素的第一行202中的像素值的总和且第二图像统计对应于像素的第二行222中的像素值的总和时，第一改变量可满足阈值。像素的第一行202中的每一像素是白色像素。因此，像素的第一行202的强度值的总和可等于零。然而，像素的第二行222中的一定数目的像素具有更大的强度值(例如，基于较暗区的更接近255的强度值)。因此，像素的第二行222的强度值的总和可大于零。假设像素值的第一总和与像素值的第二总和之间的差异满足阈值，那么大功率装置可对第二帧104执行应用专有处理。
与产生整个帧的图像统计相比，通过选择帧中的特定行及/或列且基于选定行及/或列产生关于帧的图像统计，可节约电力。例如，低功率装置可比产生第一帧102中的每个像素的图像统计利用更少的电力产生像素的第一行202的图像统计。
参看图3，展示可操作以基于图像统计减少与计算机视觉应用相关联的电力使用的处理系统300的特定说明性实施例。处理系统300包含相机302、第一处理装置304、存储器306、统计处理装置108及第二处理装置310。第二处理装置310可为比第一处理装置304更高电力使用的装置。在特定实施例中，第一处理装置304可为统计产生器且第二处理装置310可为应用处理器。在特定实施例中，统计处理装置108及第一处理装置304的功能可包含在单一低功率处理装置(例如数字信号处理器(DSP))中。
相机302可俘获多个图像帧(例如，视频流)。例如，相机302可在第一时间俘获图1的第一帧102、在第二时间俘获第二帧104，且在第三时间俘获第三帧106。在俘获特定帧102到106之后，将特定帧提供给第一处理装置304。
第一处理装置304可经配置以在俘获视频流中的每一帧102到106时产生帧102到106的图像统计。例如，第一处理装置304可基于图1的对应像素表示112到116或图2的部分像素表示212、214而产生每一帧102到106的图像统计。在产生图像统计之后，将图像统计提供给存储器306及统计处理装置108。还可使用图像统计识别每一帧102到106的特性、每一帧102到106的俘获时间等。
统计处理装置108可经配置以从第一处理装置304接收当前帧102到106(例如，最近帧)的图像统计。在特定实施例中，统计处理装置108是另一低功率装置。例如，统计处理装置108可比第二处理装置310消耗更少的电力。统计处理装置108可经配置以致使将当前帧102到106提供给第二处理装置310以用于应用专有处理。例如，统计处理装置108可响应于确定不存在先前帧而将当前帧102到106提供给第二处理装置310。
如果已经处理先前帧，那么统计处理装置108可确定当前帧的图像统计与先前帧的图像统计之间的改变量是否满足阈值。例如，统计处理装置108可从存储器306检索先前帧的图像统计。如果改变量满足阈值，那么统计处理装置108可将当前帧提供给第二处理装置310以用于应用专有处理。否则，统计处理装置108可确定节约电力且绕过对当前帧的应用专有处理。
第二处理装置310可以可操作以对当前帧执行计算机视觉应用及操作。。第二处理装置310可经配置以执行安全应用(例如，监视、入侵检测、物体检测、面部辨识等)、环境用途应用(例如，照明控制)、物体检测及跟踪应用等。第二处理装置310可包含色彩单元312、照明单元314、特征提取单元316、分段单元318、姿势检测单元320、跟踪及预测单元322、分类单元324或其组合。色彩单元312可增强当前帧的色彩、曝光及聚焦。照明单元314可增强帧的环境照明。特征提取单元316可从当前帧提取特定特征。分段单元318可将当前帧分割为多个片段(例如，多组像素)。姿势检测单元320可检测位于当前帧中的特定特征的姿势。跟踪及预测单元322可确定当前帧中的特征的相对位置且预测特征可在下一帧中哪里。分类单元324可对当前帧进行分类及/或检测警告事件。第二处理装置310可包含用于处理计算机视觉应用的处理单元的任何组合。例如，大功率装置可包含额外的单元或更少的单元。
在操作期间，相机302可在第一时间俘获第一帧102，且第一处理装置304可产生第一帧102的第一图像统计。第一处理装置304可将第一图像统计提供给存储器306。另外，第一处理装置304可将第一帧102及第一图像统计提供给统计处理装置108。统计处理装置108可轮询存储器306以确定其它先前帧的图像统计是否存储于存储器306中以用于比较。响应于确定没有先前帧的图像统计存储于存储器306中以用于比较，统计处理装置108可致使将第一帧102提供给第二处理装置310，且第二处理装置310可对第一帧102执行应用专有处理以确定手在第一帧102中是否可见。
在俘获第一帧102之后，相机302可在第二时间俘获第二帧104，且第一处理装置304可产生第二帧104的第二图像统计。第一处理装置304可将第二图像统计提供给存储器306。另外，第一处理装置304可将第二帧104及第二图像统计提供给统计处理装置108。
统计处理装置108可轮询存储器306且检索第一图像统计。在检索第一图像统计之后，统计处理装置108可将第二图像统计与第一图像统计进行比较以确定是否将第二帧104提供给第二处理装置310以用于对第二帧104进行应用专有处理。在说明性实施例中，应用专有处理可用于确定手在第二帧104中是否可见。例如，统计处理装置108可确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值。如果改变量不满足阈值，那么统计处理装置108可确定节约电力且绕过对第二帧104的应用专有处理。如果改变量满足阈值，那么统计处理装置108可将第二帧104提供给第二处理装置310以用于对第二帧104进行应用专有处理。
在俘获第二帧104之后，相机302可在第三时间俘获第三帧106，且第一处理装置304可产生第三帧106的第三图像统计。第一处理装置304可将第三图像统计提供给存储器306。另外，第一处理装置304可将第三帧106及第三图像统计提供给统计处理装置108。
统计处理装置108可轮询存储器306并检索第一图像统计、第二图像统计或其组合。如果统计处理装置108确定绕过对第二帧104的应用专有处理，那么统计处理装置108可将第三图像统计与第二图像统计进行比较以确定是否对第三帧106执行应用专有处理。或者，统计处理装置108可将第三图像统计与第一图像统计或第一和第二图像统计的组合进行比较。
绕过对具有类似于先前帧的图像统计的特定帧的应用专有处理可节约电子装置中的电力。例如，应用专有处理可利用处理系统(例如计算机视觉应用装置)内的大功率装置(例如，通用处理器或图形处理器)。通过使用低功率装置(例如，数字信号处理器、专用集成电路、现场可编程门阵列等)(例如统计处理装置108)，为产生及/或评估每一帧的统计，可确定特定帧实质上相同且仅需要对相同帧中的一者执行应用专有处理。因此，可通过放弃对相同或类似帧的应用专有处理而节约电力。
参看图4，展示可操作以减少与计算机视觉应用相关联的电力使用的处理系统400的特定说明性实施例。处理系统400包含传感器402、改变检测电路414、应用处理器418及存储器420。在特定实施例中，改变检测电路414可包含在第一处理路径408(例如，低功率处理路径及/或低数据速率处理路径)中。应用处理器418及存储器420可包含在第二处理路径410(例如，高功率处理路径及/或高数据速率处理路径)中。
传感器402可经配置以俘获传感器数据430(例如，多个图像帧或视频流)。在特定实施例中，传感器402可对应于图3的相机302。在另一特定实施例中，传感器402可为环境光传感器，例如如相对于图8所描述的环境光传感器840，或另一类型的传感器。传感器数据430可包含第一传感器数据(例如，图1的第一帧102)、第二传感器数据(例如，图1的第二帧104)、第三传感器数据(例如，图1的第三帧106)等。可将传感器数据430提供给第一处理路径408的改变检测电路414。
改变检测电路414可将传感器数据430的第一帧102与传感器数据430的第二帧104(或另一帧)进行比较以检测帧102、104之间的改变量。为简单说明起见，改变检测电路414将被描述为将第一帧102与第二帧104进行比较。然而，因为相对轻微的改变可能出现在第一帧102与第二帧104之间，所以将了解，改变检测电路414可将第一帧102与进一步间隔开的帧进行比较以改变帧之间的检测。
改变检测电路414可包含“机载”存储器以存储第一帧102。当从传感器402接收传感器数据430的第二帧104(或另一帧)时，改变检测电路414可从机载存储器检索第一帧102、比较帧102、104且基于所述比较而产生控制信号416。例如，改变检测电路414可基于所述比较(例如，基于第一帧102与第二帧104之间的类似性)而确定是否唤醒应用处理器418。在特定实施例中，改变检测电路414可将第一帧102的第一图像统计与第二帧104的第二图像统计进行比较，如相对于图1到3所描述。例如，改变检测电路414可对应于图1到3的统计处理装置108，且机载存储器可对应于图3的存储器306。
可将控制信号416提供给应用处理器418。控制信号416可指示是否“唤醒”应用处理器418以对第二帧104执行应用专有处理(例如，计算机视觉应用专有处理)。例如，如果改变检测电路414确定第一帧102与第二帧104之间的改变量不满足阈值，那么控制信号416可使应用处理器418保持在“休眠”状态中以节约电力。如果改变检测电路414确定第一帧102与第二帧104之间的改变量满足阈值，那么控制信号416可唤醒应用处理器418对第二帧104执行应用专有处理。因此，改变检测电路414还可将传感器数据430(例如，第二帧104)提供给应用处理器418以进行计算机视觉应用专有处理。
应用处理器418可经配置以对第二帧104执行计算机视觉应用专有处理。作为非限制性实例，应用处理器418可确定特定物体(例如，手)是否处于第二帧104中。因此，应用处理器418可执行物体检测/物体辨识计算机视觉应用专有处理。计算机视觉应用专有处理的其它实例可包含安全应用(例如监视、入侵检测、物体检测、面部辨识等)，环境用途应用(例如，照明控制)、物体检测及跟踪应用等。如本文中所用，“计算机视觉应用”及/或“计算机视觉应用专有处理”可对应于或包含无限数目的基于视频/图像数据的应用。不希望本文中所使用的实例具限制性。
在特定实施例中，应用处理器418可执行如相对于图13到27所描述的计算机视觉应用专有处理。例如，应用处理器418可提取第二帧104的特征的第一子集、基于特征的第一子集满足分析准则而提取第二帧104的特征的第二子集，且至少部分基于特征的第二子集而产生指示第二帧104的背景的背景数据。
应用处理器418还可将传感器数据430(例如，经受计算机视觉应用专有处理的帧)提供给存储器420。因此，应用处理器418(及额外的处理器/处理资源)可在计算机视觉应用专有处理期间从存储器420存取传感器数据430。在特定实施例中，存储器420可为双倍数据速率(DDR)存储器。例如，存储器420可为DDR同步动态随机存取存储器(DDR SDRAM)。
图4的处理系统400可通过绕过对类似于先前帧的特定帧的计算机视觉应用专有处理而减少电力消耗。例如，改变检测电路414可基于当前帧与先前帧之间的比较而指示(经由控制信号416)是否激活(例如，唤醒)应用处理器418。如果改变检测电路414确定当前帧与先前帧之间的差异不满足阈值(例如，改变阈值)，那么改变检测电路414可确定减活应用处理器418(例如，使应用处理器418保持在休眠状态中)以节约电力。
参看图5，展示可操作以减少与相关联计算机视觉应用的电力使用的处理系统500的特定说明性实施例。处理系统500包含传感器502、选择电路506、第一处理路径508及第二处理路径510。
第一处理路径508可包含信号分析器512及改变检测电路514。第二处理路径510可包含应用处理器518及存储器520。在特定实施例中，第一处理路径508可为低功率处理路径及/或低数据速率处理路径，且第二处理路径510可为高功率处理路径及/或高数据速率处理路径。例如，第一处理路径508中的组件可比第二处理路径510中的组件消耗更少的电力。
传感器502可经配置以俘获传感器数据(例如，多个图像帧或视频流)。在特定实施例中，传感器502可对应于图3的相机302或图4的传感器402。传感器数据可包含第一传感器数据(例如，图1的第一帧102)、第二传感器数据(例如，图1的第二帧104)、第三传感器数据(例如，图1的第三帧106)等。可将所述传感器数据提供给选择电路506。
选择电路506可经配置以基于控制信号516(例如，反馈信号)将传入帧(例如，传感器数据)提供给第一处理路径508及/或将传入帧提供给第二处理路径510。在特定实施例中，选择电路506可实施为响应于控制信号516的多路复用器。选择电路506可起初将传感器数据530(例如，经由低数据速率通道提供传入帧)提供给信号分析器512以进行处理。为了说明，选择电路506可将第一帧102提供给信号分析器512，且选择电路506可将第二帧104提供给信号分析器512。
在接收第一帧102之后，信号分析器512可即刻分析第一帧102且将所述分析的第一分析结果542提供给改变检测电路514。在特定实施例中，信号分析器512可对应于图3的第一处理装置304且以大体上类似的方式操作。改变检测电路514可包含“机载”存储器以存储第一分析结果542。在特定实施例中，改变检测电路514可以与图4的改变检测电路414大体上类似的方式操作。在接收第二帧104之后，信号分析器512可即刻分析第二帧104且将所述分析的第二分析结果542提供给改变检测电路514。
在特定实施例中，应用处理器518可产生分析配置数据534且将其提供给信号分析器512及/或改变检测电路514。分析配置数据534可指示将由信号分析器512及/或改变检测电路514分析的特定类型的特征(例如，将产生的特定类型的图像统计)。将分析的特定类型的特征可基于将由应用处理器518执行的特定计算机视觉应用。作为非限制性实例，如果应用处理器518将执行物体检测/辨识计算机视觉应用以检测图像帧中的“手”，那么应用处理器518可提供分析配置数据534，使得信号分析器512产生具有“肤色”色彩的像素的图像数据。
改变检测电路514可经配置以确定第一帧102与第二帧104之间的改变量(例如，第一分析结果542(或第一传感器数据)与第二分析结果542(或第二传感器数据)之间的改变量)。当所述改变量未能满足阈值(例如，改变阈值)时，改变检测电路514可产生具有第一值的控制信号516。当所述改变量满足阈值时，改变检测电路514可产生具有第二值的控制信号516。作为非限制性实例，当第一色彩直方图(由信号分析器512产生)中的特定色彩值(例如，棕色)的像素的第一计数与第二色彩直方图(由信号分析器512产生)中的特定色彩值的像素的第二计数之间的差异大于阈值时，所述改变量可满足阈值。
如果控制信号516具有第一值(例如，指示所述改变量未能满足阈值)，那么选择电路506可将额外的帧(例如，传感器数据530)提供给第一处理路径508，使得信号分析器512可产生额外帧的数据，且改变检测电路514可确定与额外帧相关联的改变量是否满足阈值。如果控制信号516具有第二值(例如，指示改变量满足阈值)，那么选择电路506可将传感器数据532(例如，第二帧104及/或后续帧106)提供给第二处理路径510以进行应用专有处理(例如，计算机视觉应用专有处理)。例如，选择电路506可经由高数据速率通道将传感器数据532提供给应用处理器518。
应用处理器518可经配置以对第二帧104执行计算机视觉应用专有处理。作为非限制性实例，应用处理器518可确定特定物体(例如，手)是否处于第二帧104中。
在特定实施例中，应用处理器518可执行如相对于图13到27所描述的计算机视觉应用专有处理。例如，应用处理器518可提取第二帧104的特征的第一子集、基于特征的第一子集满足分析准则而提取第二帧104的特征的第二子集，且至少部分基于特征的第二子集而产生指示第二帧104的背景的背景数据。在特定实施例中，第一处理路径508的组件(例如，信号分析器512及/或改变检测电路514)可将分析反馈数据536提供给应用处理器518。分析反馈数据536可包含传感器数据530的分析结果542、分析结果的准确度水平的指示、特征的第一和第二子集等。例如，改变检测电路514可提取第二帧104的特征的第一和第二子集且将所提取的特征提供给应用处理器518(经由分析反馈数据536)，使得应用处理器518可产生背景数据。
应用处理器518还可将传感器数据532(例如，经受计算机视觉应用专有处理的帧)提供给存储器520。因此，应用处理器518(及额外处理器/处理资源)可在计算机视觉应用专有处理期间从存储器520存取传感器数据532。在特定实施例中，存储器520可为DDR存储器(例如，DDR SDRAM)。
图5的处理系统500可通过绕过对类似于先前帧的特定帧的计算机视觉应用专有处理而减少电力消耗。例如，改变检测电路514可基于当前帧的图像统计与先前帧的图像统计之间的比较而经由控制信号516指示是否激活(例如，唤醒)应用处理器518。如果改变检测电路514确定当前帧与先前帧之间的差异不满足阈值(例如，改变阈值)，那么改变检测电路514可确定减活应用处理器518(例如，使应用处理器518保持在休眠状态中)以节约电力。
因为应用处理器518可经由分析配置数据534指示(向第一处理路径508的组件)与计算机视觉应用“相关”的统计的类型，所以可减少由改变检测电路514产生的错误肯定的数目。例如，信号分析器512及改变检测电路514可基于针对特定计算机视觉应用修裁的图像统计而确定是否唤醒应用处理器518，这与基于帧之间的“任何”改变作出确定形成对比。减少错误肯定的数目还可节约电力(例如，基于不与计算机视觉应用相关的图像统计而减少激活第二处理路径510的次数)。
参看图6，展示可操作以减少与相关联计算机视觉应用的电力使用的处理系统600的另一特定说明性实施例。处理系统600包含传感器602、预处理电路604、选择电路506、第一处理路径608及第二处理路径610。
第一处理路径608可包含信号分析器512及改变检测电路514。第二处理路径610可包含应用处理器518、存储器520及一或多个额外处理器622。在特定实施例中，第一处理路径608可为低功率处理路径，且第二处理路径610可为高功率处理路径。例如，第一处理路径608中的组件可比第二处理路径610中的组件消耗更少的电力。
传感器602可经配置以俘获多个图像帧(例如，视频流)。在特定实施例中，传感器602可对应于图3的相机302。由传感器602俘获的视频流可提供给预处理电路604。预处理电路604可经配置以对视频流取样以从所述视频流产生一组帧(例如，图1的第一帧102、第二帧104及第三帧106)。例如，预处理电路604可以取样速率对视频流取样，使得在第一时间产生第一帧102，在第二时间产生第二帧104，且在第三时间产生第三帧106。可将每一帧102到106提供给选择电路506。
选择电路506、信号分析器512、改变检测电路514及应用处理器518可以如相对于图5所描述的类似方式操作。一或多个额外处理器622可从存储器520存取传感器数据532以对传感器数据532执行额外处理(例如，额外的计算机视觉应用专有处理)，如相对于图7所描述。在特定实施例中，一或多个额外处理器422中的至少一者可对应于或包含第二应用处理器或数字信号处理器(DSP)。
参看图7，展示第二处理路径610的特定说明性实施例。第二处理路径610包含数据总线702、应用处理器518、一或多个额外处理器622及控制总线710。所述一或多个额外处理器622可包含第二应用处理器706及第M应用处理器708。在特定实施例中，M可为大于或等于一的任何整数值。例如，如果M等于五，那么第二处理路径610可包含五个应用处理器。
每一应用处理器518、706、708可对应于处理核心、应用处理器子系统、处理资源等。每一应用处理器518、706、708可消耗不同量的电力。例如，应用处理器518可消耗第一量的电力，第二应用处理器706可消耗第二量的电力，且第M应用处理器708可消耗第M量的电力。第一量的电力可小于第二量的电力，且第二量的电力可小于第M量的电力。
选择电路506可所述数据总线702将传感器数据532(例如，第二帧104)提供给存储器520。每一应用处理器518、706、708可能够经由数据总线702从存储器520存取传感器数据532。例如，每一应用处理器518、706、708可耦合到数据总线702以从存储器520接收第二帧104(或第二帧104的经处理版本)。
应用处理器518可经配置以对传感器数据532执行第一计算机视觉应用专有处理。作为非限制性实例，应用处理器518可经配置以扫描第二帧104的像素以寻找特定色彩(例如，与人类肤色相关联的色彩以用于手检测/辨识)。在应用处理器518对第二帧104执行计算机视觉应用专有处理时，第二应用处理器706及第M应用处理器708可处于“休眠”状态中以节约电力。
如果应用处理器518检测到特定事件，那么应用处理器518可请求第二应用处理器706对第二帧104执行第二计算机视觉应用专有处理(例如，请求第二应用处理器706从休眠状态“唤醒”)。作为非限制性实例，如果应用处理器518检测第二帧104的特定像素具有特定色彩，那么应用处理器518可请求第二应用处理器706对第二帧104执行第二计算机视觉应用专有处理(例如，物体检测处理、物体辨识处理或其任何组合)。应用处理器518可经由控制总线710与第二应用处理器706通信。例如，应用处理器518可经由控制总线710将指令发送到第二应用处理器706以向第二应用处理器706警告所述特定事件。
第二应用处理器706可确定是否对传感器数据532(例如，第二帧104)执行第二计算机视觉应用专有处理。所述确定可基于第二应用处理器706的处理能力、特定事件的相关性等。如果第二应用处理器706确定对第二帧104执行第二计算机视觉应用专有处理，那么第二应用处理器706还可确定是否在应用处理器518处中断对第二帧104的计算机视觉应用专有处理。
例如，第二应用处理器706可能够对第二帧104执行第一和第二计算机视觉应用专有处理。可基于第二应用处理器706处的确定而在应用处理器518处中断对第二帧104的计算机视觉应用专有处理。在此实施例中，第二应用处理器706可将指令发送到应用处理器518(经由控制总线710)以进入休眠状态，且第二应用处理器706可对第二帧104执行第一计算机视觉应用专有处理。例如，如果第二应用处理器706能够对第二帧104执行第一计算机视觉应用专有处理，那么可减活应用处理器518以节约电力。
如果第二应用处理器706确定放弃对第二帧104的第二计算机视觉应用专有处理，那么第二应用处理器706可发送拒绝执行第二计算机视觉应用专有处理的指示。例如，第二应用处理器706可经由控制总线710将所述指示发送到应用处理器518。在特定实施例中，第二应用处理器706可基于特定事件而发送指令以致使应用处理器518停止请求第二应用处理器706执行第二计算机视觉应用专有处理。另外，第二应用处理器706可“编程”应用处理器518以对特定事件进行故障检测，使得应用处理器518在发生所述特定事件之后不即刻唤醒第二应用处理器706。因此，第二应用处理器706可控制应用处理器518的状态(例如，休眠状态或激活状态)，且第二应用处理器706还可编程应用处理器518而以更有效的方式运作。
第M应用处理器708可以与第二应用处理器706相对于应用处理器518操作大体上类似的方式相对于第二应用处理器706及应用处理器518而操作。例如，第M应用处理器708可经配置以对第二帧104执行第M计算机视觉应用专有处理、第二计算机视觉应用专有处理及第一计算机视觉应用专有处理。以与第二应用处理器706类似的方式，应用处理器708可拒绝执行第M计算机视觉应用专有处理、控制另一应用处理器518、706的状态、编程另一应用处理器518、706而以更有效的方式操作等。
第二处理路径610可通过选择性地减活一或多个应用处理器518、706、708以增加处理效率而减少电力消耗。例如，更复杂(例如，能够执行更多的计算机视觉应用专有处理功能)且消耗更多电力的应用处理器可控制较不复杂且消耗较少电力的应用处理器的状态。因此，如果活动应用处理器能够执行较低功率应用处理器的计算机视觉应用专有处理功能，那么所述活动应用处理器可指令所述较低功率应用处理器进入休眠状态中以节约电力。
参看图8，展示可操作以减少与相关联计算机视觉应用的电力使用的处理系统800的另一特定说明性实施例。处理系统800包含传感器802、系统控制器806、第一处理路径808及第二处理路径810。在图8中，传感器802包含环境光传感器840及相机842。在替代实施例中，可包含不同数目及/或类型的传感器。第一处理路径808可包含信号分析器512、激活分析器814及减活分析器816。第二处理路径810可包含物体检测器850、物体识别符852、活动分类器854及用户接口856。
环境光传感器840可经配置以检测视野中的光及/或运动。例如，环境光传感器840可为低功率及低分辨率的基于微机电系统(MEMS)的相机，其用以确定光或运动是否存在于视野中。如果环境光传感器840检测到视野中的运动及/或光，那么环境光传感器840可将第一值(例如，逻辑高电压值)提供给系统控制器806以作为传感器状态882。或者，如果环境光传感器840未检测到视野中的运动及/或光，那么环境光传感器840可将第二值(例如，逻辑低电压值)提供给系统控制器806以作为传感器状态882。
基于传感器状态882，系统控制器806可选择性地激活或减活相机842。例如，当环境光传感器840检测到视野中的光及/或运动时，系统控制器806可提供传感器配置数据880以激活相机842。当激活相机842时，相机842可将低速率数据834(例如，传感器数据530)提供给信号分析器512。或者，当环境光传感器840未检测到视野中的光及/或运动时，系统控制器806可提供传感器配置数据880以减活相机842。当在视野中未检测到光及/或运动时减活相机842可节约电力。在特定实施例中，传感器配置数据880还可指示视野中在其处检测到光及/或运动的部分(例如，位置)。
虽然图8中的传感器802描绘环境光传感器840及相机842，但在其它实施例中，可使用经配置以在第一模式(例如，低功率模式)及第二模式(例如，高功率模式)中操作的单一相机。例如，在低功率模式中，所述相机可经配置以检测视野中的光及/或运动。在检测到所述光及/或运动之后，相机可即刻进入大功率模式中且将低速率数据834(例如，传感器数据530)提供给信号分析器512。
信号分析器512可将分析结果542提供给激活分析器814及减活分析器816。在特定实施例中，激活分析器814及减活分析器816可对应于图4的改变检测电路414或图5的改变检测电路514。例如，激活分析器814可基于分析结果542(例如，如果第一传感器数据与第二传感器数据之间的改变量满足改变阈值)而产生激活信号844。系统控制器806可将激活信号844提供给第二处理路径810以激活(例如，唤醒)第二处理路径810中的组件。或者，减活分析器816可基于分析结果542(例如，如果第一传感器数据与第二传感器数据之间的改变量未能满足阈值)而产生减活信号846。系统控制器806可将减活信号提供给第二处理路径810以减活第二处理路径810中的组件。
如果激活第二处理路径810，那么相机842可将高速率数据832提供给第二处理路径810中的组件以用于计算机视觉应用专有处理。例如，物体检测器850可检测高速率数据832的帧中的物体，物体识别符852可识别所述物体，活动分类器854可对所识别的物体进行分类等。在特定实施例中，物体检测器850可对应于图7的应用处理器518，物体识别符852可对应于图7的第二应用处理器706，且活动分类器854可对应于图7的第M应用处理器708。虽然图8中的第二处理路径810包含物体检测器850、物体识别符852及活动分类器854，但在其它实施例中，第二处理路径810可包含额外或不同的组件。例如，第二处理路径810中的组件可基于计算机视觉应用。用户接口856可经配置以向用户(例如，在显示装置处)显示物体检测器850、物体识别符852、活动分类器或其任何组合的输出。
在特定实施例中，第二处理路径810可经由系统控制器806将状态指示848提供给第一处理路径808。状态指示848可向第一处理路径808指示第二处理路径810中的特定组件是活动还是闲置。
参看图9，展示可操作以减少与相关联计算机视觉应用的电力使用的处理系统900的另一特定说明性实施例。处理系统900包含传感器402、视频前端(VFE)Lite子系统904、低功率计算机视觉子系统(LPCVSS)906、低功率应用子系统(LPASS)908、应用处理器子系统(APSS)910、一或多个其它处理器912，及数据总线916。在特定实施例中，LPASS 908可对应于图7的应用处理器518且可以大体上类似的方式操作，APSS 910可对应于图7的第二应用处理器706且可以大体上类似的方式操作，且一或多个其它处理器912可对应于图7的第M应用处理器708且可以大体上类似的方式操作。
LPASS 908、APSS 910及一或多个其它处理器912可各自对应于处理核心、应用处理器子系统、处理资源等。LPASS 908可消耗第一量的电力，APSS 910可消耗第二量的电力且额外处理器912可消耗第三量的电力。第一量的电力可小于第二量的电力，且第二量的电力可小于第三量的电力。
传感器402可将传感器数据430(例如，第一帧102、第二帧104、第三帧106等)提供给VFE-Lite 904。在接收第一帧102之后，VFE-Lite 904可即刻分析第一帧102且将所述分析的第一分析结果542提供给LPCVSS 906。在特定实施例中，VFE-Lite 904可对应于图3的第一处理装置304或图5的信号分析器512且以大体上类似的方式操作。LPCVSS 906可包含“机载”存储器以存储第一分析结果542。在特定实施例中，LPCVSS906可以与图4的改变检测电路414或图5的改变检测电路514大体上类似的方式操作。在接收第二帧104之后，VFE-Lite 904可即刻分析第二帧104且将所述分析的第二分析结果542提供给LPCVSS 906。
另外，VFE-Lite 904可经由数据总线916将传感器数据430(例如，第二帧104)提供给DDR 914。LPCVSS 906、LPASS 908、APSS 910及额外处理器912可能够经由数据总线916从DDR 914存取传感器数据430。例如，LPCVSS 906、LPASS 908、APSS 910及额外处理器912可耦合到数据总线916以从DDR 914接收第二帧104(或第二帧104的经处理版本)。
LPCVSS 906可经配置以确定第一帧102与第二帧104之间的改变量(例如，第一分析结果542(或第一传感器数据)与第二分析结果542(或第二传感器数据)之间的改变量)。当所述改变量未能满足阈值(例如，改变阈值)时，LPCVSS 906可产生具有第一值的控制信号920。当所述改变量满足阈值时，LPCVSS 906可产生具有第二值的控制信号516。
在图9的所说明的实施例中，控制信号920具有指示所述改变量未能满足阈值的第一值。因此，LPASS 908、APSS 910及一或多个额外处理器912处于休眠状态中，如经由阴影线图案所指示。例如，LPCVSS 906可基于所述改变量而向LPASS 908指示(经由控制信号920)保持在休眠状态中。因此，在图9的所说明的实施例中，可关闭LPASS 908、APSS 910及一或多个额外处理器912而节约电力，因为可绕过对当前帧的计算机视觉应用专有处理。
在图10的所说明的实施例中，处理系统900可处于部分功率模式中。为了说明，控制信号920可具有指示改变量满足阈值的第二值。例如，LPCVSS 906可检测“活动”(例如，当前帧与先前帧之间的改变)且向LPASS 908发信号以对当前帧执行计算机视觉应用专有处理。当LPASS 908接收控制信号920时，LPASS 908可“唤醒”且对传感器数据430执行第一计算机视觉应用专有处理。作为非限制性实例，LPASS 908可经配置以扫描第二帧104的像素以寻找特定色彩(例如，与人类肤色相关联的色彩以用于手检测/辨识)。作为另一非限制性实例，LPASS 908可产生局部化的“关注区”(ROI)以确定ROI中的活动是否满足阈值。如果ROI中的活动不满足所述阈值，那么LPASS 908可“关闭”APSS 910及其它处理器912且可“丢弃”当前帧。关闭APSS 910及其它处理器912可减少电力消耗。
在图11的所说明的实施例中，处理系统900可处于全功率模式中。例如，如果ROI中的活动满足阈值，那么LPASS 908可经由控制信号922请求APSS 910对第二帧104执行第二计算机视觉应用专有处理(例如，请求APSS 910从休眠状态“唤醒”)。作为非限制性实例，如果LPASS 908检测第二帧104的特定像素具有特定色彩，那么LPASS 908可请求APSS 910对第二帧104执行第二计算机视觉应用专有处理(例如，物体检测处理、物体辨识处理，或其任何组合)。LPASS 908可经由IPC控制与APSS 910通信。
类似地，APSS 910可经由控制信号924请求额外处理器912对第二帧104执行第三计算机视觉应用专有处理(例如，请求额外处理器912从休眠状态“唤醒”)。APSS 910可经由IPC控制与额外处理器912通信。
因此，相对于图9到11描述的实施例可通过选择性地减活一或多个处理器/子系统以增加处理效率而减少电力消耗。
可将输入提供给计算机视觉应用处理器的传感器(例如，图4的传感器402)的实例包含永启相机。永启相机可包含在多种移动装置中的任一者中及/或与多种移动装置中的任一者通信地耦合。例如，图12是可利用永启相机的移动装置1200的实施例的图解。移动装置1200包含移动电话1200-1、平板计算机1200-2及头戴式显示器(HMD)1200-3。虽然图12中未展示，但移动装置1200可包含个人数字助理(PDA)、笔记本计算机、个人媒体播放器、游戏装置、相机、视频记录器及类似者。移动装置1200可包含一或多个可穿戴装置(例如，头盔相机、运动相机等)，其可跨越用户的身体而分布。多个装置(例如，可穿戴装置)可与背景确定引擎通信地连接及/或由背景确定引擎管理，如参考图13进一步描述。
此外，移动装置的样式、大小、功能性及/或其它特征可在相同类型的不同移动装置之间变化。移动装置1200可包含定位在移动装置1200上的多种位置中的任一者处的一或多个相机1210(例如，图3的相机302、图8的相机842)。移动电话100-1例如可包含前向相机1210-1及/或后向相机1210-2。平板计算机1200-2可包含其它表面(例如，侧面及/或背面)上的前向相机1210-3及/或额外相机1210-4，其可面向其它方向。HMD100-3可具有定位在HMD 1200-3的显示器1220之间(如所展示)及/或HMD 1200-3的另一位置处的外向相机1210-5。
移动装置的相机1210中的任一者或全部可用作永启相机，其取决于所要的功能性。虽然一些实施例可利用具有适应永启功能性的特定特征(例如，广角、鱼眼、低功率、低分辨率等)的专用于永启功能性的特定相机，但实施例可另外或替代地利用多种相机类型(例如，红外、紫外、光谱仪、高分辨率、前向等)中的任一者来用于永启功能性。其中移动装置包含多个相机的实施例可使得用户能够选择相机以用作永启相机及/或移动装置可在某些情形中在不同相机之间双态切换。
移动装置的实施例可不同于图12中展示的移动装置1200。例如，另外或作为嵌入移动装置内的相机的替代方案，特定实施例可包含与相机物理上分开但与其通信地耦合(例如，经由无线或有线技术)的移动装置。其它传感器还可与移动装置物理上分开但与其通信，使得相机及/或其它传感器可例如在用户的身体上及/或周围的各种位置处分布。
图13是说明装置的实施例可如何在背景确定中利用传感器及其它信息的输入/输出图，其可影响永启相机的取样速率的调制。这些背景确定可由例如由移动装置1200中的一或多者的软件及/或硬件执行的背景确定引擎1380作出。背景确定引擎1380可为移动装置1200中的一或多者的更大软件及/或硬件应用的部分或集成到其中。例如，背景确定引擎1380的一或多个组件可为以下各者的部分或集成到其中：应用处理器(例如，图3的第二处理装置310、图4的应用处理器418、图5到7的应用处理器518、一或多个额外处理器622、图7的第二应用处理器706及/或第M应用处理器708)、图8的物体检测器850、物体识别符852、活动分类器854、激活分析器814、减活分析器816、系统控制器806、图9到11的VFE-Lite 904、LPCVSS 906、LPASS 908、APSS 910、一或多个其它处理器912、改变检测电路(例如，图4的改变检测电路414及/或图5的改变检测电路514)、图5的信号分析器512，或其组合。背景确定引擎1380可从各种组件接收数据以便作出背景确定，包含光传感器1310(其可包含例如图8的环境光传感器840、紫外光(UV)传感器、UV-A传感器、UV-B传感器、红色-绿色-蓝色(RGB)传感器及类似者)、麦克风1320、运动/定向检测器1330(其可包含例如一或多个陀螺仪、磁力计(及/或其它类型的罗盘)、加速度计及类似者)、相机1210(例如，图3的相机302及/或图8的相机842)、无线通信接口1340(其可包含例如第二代(2G)调制解调器、第三代(3G)调制解调器、第四代(4G)调制解调器、无线保真(WiFi)接口、全球微波接入互操作性(WiMax)接口及/或另一无线接口，例如(蓝牙SIG公司的注册商标)接口或(蓝牙SIG公司的注册商标)低能量(LE)接口)、卫星定位接收器1350及/或其它传感器1360(例如，图4的传感器402、图5的传感器502、图6的传感器602、高度计、接近度传感器、压缩成像传感器、温度传感器、压力传感器、触摸传感器、指纹传感器及类似者)。
在特定实施例中，背景确定引擎1380可从地图1370、运动模型1390及/或应用程序数据1395(例如，计算机视觉应用数据)接收数据。取决于所要的功能性，所述组件中的一或多者可集成到移动装置1200中的一或多者中及/或与移动装置1200中的一或多者分开(例如经由有线及/或无线连接进行通信，如先前描述)。
一或多个相机1210可集成到移动装置1200中的一或多者中及/或与其通信地耦合。此外，相机1210中的任一者或全部可被指定为永启相机。背景确定引擎1380可作出此指定。不仅永启相机的取样速率可被背景确定引擎1380的背景确定影响，还可处理来自永启相机(及/或其它相机1210)的图像以用于进一步的背景确定。
背景确定可导致调制永启相机的取样速率(其可为由软件应用锚硬件默认选择的初始取样速率)。可将所述取样速率调制到广泛多种取样速率中的任一者。例如，初始取样速率可为每4到5秒一个样本。然而，某些背景确定可致使将取样速率增加到每秒30个样本(即，30帧/秒))或更多。其它确定可导致将取样速率减小到例如每5分钟一次及/或完全抑制取样。背景确定可产生从零(即，无取样)到在永启相机的硬件和/或软件约束下可实行的最高速率的取样速率。另外或替代地，如下文更详细地描述，实施例可实现在多传感器系统中基于背景确定而选择性地触发永启相机及/或选择性地激活某些传感器(例如，相机、光传感器、运动检测器、麦克风等)。
光传感器1310可包含多种光敏传感器中的任一者，例如活动光传感器、RGB传感器、紫外光(UV)传感器及类似者。所述光传感器1310通常消耗比永启相机少得多的电力且可以用于确定移动装置1200中的一或多者的背景。例如，一或多个光传感器1310可定位成确定永启相机暴露于的光强度。如果检测到的光强度低于一定阈值，那么背景确定引擎1380可确定永启相机处于口袋或钱包中或变暗房间中，在此情况下，可减小或暂停永启相机的取样速率。
一些实施例可具有可用作永启相机的多个相机1210。其中光照条件可由于相机位置而变化，且一或多个光传感器1310定位成与每一相机对应，背景确定引擎1380可基于来自光传感器1310的光强度数据而确定多个相机1210中的哪一者用作永启相机。
另外或替代地，背景确定引擎1380可使用运动/定向检测器1330、运动模型1390及/或光传感器1310以确定移动装置的位置及/或相对于用户的永启相机位置(例如，在桌子上或用户的手、包袋、衬衫口袋、裤子口袋、皮套等中)，且相应地调制永启相机的取样速率。例如，如果在口袋、包袋、钱包或皮套中检测到移动装置及/或移动装置暴露于在一定阈值以下的光，那么到永启相机的视线可能被阻挡，且可减小永启相机的取样速率。在特定实施例中，永启相机的取样速率可减小到零，从而暂停图像俘获。在其中永启相机的所俘获图像由生活记录应用使用以自动收集用户的生活的照片记录的场景中，此功能性可导致当照片提供极少或没有有用的信息时(例如在夜间，当永启相机处于口袋、包袋中时，以此类推)避免不必要的图像俘获且提供显著的电力节省。运动/定向检测器1330及/或运动模型1390还可使得背景确定引擎1380能够确定携载移动装置1200中的一或多者及/或与移动装置1200中的一或多者相关联的用户的状态。实例包含行走、跑步、锻炼、在途中及可涉及可检测的移动及/或定向的其它此类活动。此外，用户状态可影响如何调制永启相机。例如，永启相机可经配置以在用户状态指示在室外的移动的情况下(例如，其中用户的环境可能频繁改变)增加取样速率。另一方面，指示在室内的相对非活动状态的用户状态可致使背景确定引擎1380减小永启相机的取样频率。
背景确定引擎1380还可利用来自麦克风1320的数据以检测某些音频活动及方向。来自麦克风1320的数据可用于确定特定活动(例如，会议或对话)正在发生。来自麦克风1320的数据可用于调制永启相机的取样频率，从而例如当检测到声音时增加取样速率。
在特定实施例中，移动装置可利用多个相机1210中的任一者作为永启相机。从麦克风数据导出的音频方向性可用于确定声音来自的方向。可能面向所述声音的所述方向的对应相机可随后被指定为永启相机以基于音频活动的方向而俘获图像。由面向音频活动的方向的相机俘获的图像还可能包含关于扬声器身份、扬声器的情绪、扬声器的表达的视觉信息、对应于音频活动的视觉场景，及类似者。麦克风1320可包含一或多个低功率麦克风活动检测器以确定音频方向性。
音频方向性及用户状态确定可以用于其中多个相机1210的移动装置1200中的一或多者在执行生活记录应用的场景中。在会议背景中，用户可将移动装置1200中的一或多者放置在桌子上，在其处背景确定引擎1380可使用麦克风1320及/或其它组件确定用户状态(例如，“在会议中”)，且充分利用麦克风1320的音频方向性信息基于用户状态而确定从哪一1210取样及/或如何调制(例如，增加或减小)相机的取样速率。当用户在他的或她的办公室中工作时，背景确定引擎可利用音频数据(例如，使用音频环境群集及/或其它音频分析技术)确定此用户状态(例如，“在办公室中工作”)，且基于用户状态而减小取样速率或关闭永启相机，直到检测到音频氛围中的改变为止。
背景确定引擎1380还可使用来自运动/定向检测器1330的数据确定背景信息，例如用户可参与的活动(例如，行走、跑步、在途中等)。来自运动/定向检测器1330的数据可与运动模型1390进行比较，所述运动模型可模型化用户的不同活动及/或其它状态以作出确定。如果例如所感测运动在一定活动的模型化运动的阈值可能性内(即，所感测运动在阈值内类似于模型化运动)，那么背景确定引擎1380可确定用户参与所述活动。在一些实施例中，数据可由分类器(例如绝对运动分类器或相对或全运动分类器)处理，或所述数据可由计步器模块或功能处理。
背景确定引擎1380可基于用户(例如，用户状态)及/或移动装置1200的速度、运动及/或所确定的背景而调制永启相机的取样速率。例如，如果背景确定引擎1380确定用户参与涉及相对高量的移动的某些活动(例如跑步或跳跃)，那么背景确定引擎1380可相应地调整永启相机的取样速率。例如，响应于检测到用户移动，背景确定引擎1380可减小或暂停从永启相机取样。
类似地，背景确定引擎1380可通过估计来自运动/定向检测器1330及/或来自位置信息(其可例如使用卫星定位接收器1350、能够提供定位及/或速度信息的无线通信接口1340及类似者确定)的速度而确定用户以一定速度行进。如果速度在某一阈值以上，那么背景确定引擎1380可减小或暂停从永启相机取样以减小俘获模糊图像的可能性。另外或替代地，速度可以用于确定用户状态，其可随后用于确定可如何调制永启相机的取样。
背景确定引擎1380还可使用来自运动/定向检测器1330的定向信息确定是否调制永启相机的取样速率及/或当与一或多个其它组件组合时基于所感测的定向及/或运动而指定用于永启功能性的相机。例如，背景确定引擎1380可在确定由永启相机取得的先前图像在某一使用情况下(例如，指向天空或天花板)不提供信息且移动装置l200中的一或多者及/或永启相机自从先前图像的俘获时间以来已经处于绝对静止的情况下抑制永启相机的图像俘获。基于地理栅栏及相关地点(POR)的触发还可用于背景确定，其可影响永启相机的取样速率。
参看图14，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为1400。系统1400可包含装置1402。装置1402可包含处理器1410、多媒体内容分类器1412及存储器1408。多媒体内容分类器1412可包含特征集合提取器1414、特征集合群集器1416、特征集合分类器1418、场景改变检测器1460、模糊图像检测器1462或其任何组合。在特定实施例中，多媒体内容分类器1412的一或多个组件可为以下各者的部分或集成到其中：图3的第一处理装置304、统计处理装置108、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、应用处理器518、信号分析器512、改变检测电路514、图6的一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的物体检测器850、物体识别符852、活动分类器854、用户接口856、激活分析器814、减活分析器816、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、APSS 910、一或多个其它处理器912、图13的背景确定引擎1380，或其组合。
存储器1408可包含阈值数据1434、选择准则1438、分类模型1428、用户偏好1422、时戳1494、特征集合数据1432、背景数据1490、中间背景数据1492、应用1444，或其任何组合。在特定实施例中，存储器1408的至少一部分可对应于图3的存储器306、图4的存储器420、图5的存储器520、图9的DDR 914，或其组合。如本文中所用，图像的“背景”可包含从图像推断或确定的信息及/或从其提取的特征。例如，图像的背景可包含特定位置、特定人员、特定物体、特定活动或其任何组合。为了说明，在特定会议室中参加会议的特定人员的图像的背景可包含特定人员(例如，“约翰”)、参加所述会议的活动(例如，“所参加的群组会议”)、特定会议室(例如，“房间2.134”)、会议室中的物体(例如，“白板”)，或其任何组合。
阈值数据1434可包含一或多个阈值持续时间1480、阈值置信水平1482、阈值锐度水平1484、阈值电池电力1486、阈值带宽1488，或其任何组合。选择准则1438可包含资源预算1420(例如，待激活的同构或异构处理器核心的阈值数目)、使用情况1436、关注区1478，或其任何组合。在特定实施例中，装置1402可从用户1452经由用户输入1430接收对应于阈值数据1434、选择准则1438或两者的一或多个值。在特定实施例中，多媒体内容分类器1412可基于与一或多个图像相关联的对应值而产生对应于阈值数据1434的一或多个值。例如，多媒体内容分类器1412可基于一定数目的先前处理及/或俘获的图像的平均锐度而确定阈值锐度水平1484。
装置1402可耦合到一或多个图像传感器及显示器1406或与其通信。所述一或多个图像传感器可包含第一图像传感器1404、第N图像传感器1440，或图像传感器的组合。在特定实施例中，装置1402可为经配置以经由第一图像传感器1404、第N图像传感器1440或从图像传感器的组合俘获图像的移动装置。在特定实施例中，第一图像传感器1404、第N图像传感器1440或一或多个其它传感器可集成到移动装置的相机中。所述一或多个图像传感器可对应于图3的相机302、图4的传感器402、图5的传感器502、图6的传感器602、图8的传感器802、图12的相机1210、一或多个其它传感器1360，或其组合。
装置1402可包含比图14中说明的组件更少或更多的组件。例如，装置1402可包含一个以上处理器、可包含一个以上存储器或两者。装置1402可包含连网或分布式计算系统。在特定说明性实施例中，装置1402可包含移动通信装置、智能电话、蜂窝式电话、膝上型计算机、计算机、平板计算机、个人数字助理、显示装置、电视、游戏控制台、音乐播放器、无线电装置、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航装置，或其任何组合。此类装置可包含用户接口，例如触摸屏、话音辨识能力，或其它用户接口能力。
在操作期间，装置1402可从图像传感器(例如，第一图像传感器1404)接收感测数据(例如，第一感测数据1470)。第一感测数据1470可与图像相关。例如，第一图像传感器1404可俘获所述图像且可将与所述图像相关的第一感测数据1470发送到装置1402。第一图像传感器1404可基于各种触发而产生第一感测数据1470，如参考图19及27进一步描述。例如，第一图像传感器1404可以数据取样间隔(例如，每分钟一次)周期性地俘获图像且可将与所述图像相关的感测数据(例如，第一感测数据1470)周期性地发送到装置1402。第一图像传感器1404可基于满足阈值图像俘获持续时间(例如，阈值持续时间1480)的确定而俘获图像。例如，所述阈值图像俘获持续时间可指示俘获图像之间的特定数据取样间隔(例如，1分钟)。当在俘获先前图像之后过去了特定数据取样间隔时可满足阈值图像俘获持续时间。
作为另一实例，第一图像传感器1404可基于装置1402处的可用的带宽满足阈值带宽(例如，阈值带宽1488)、可用的电池电力满足阈值电池电力(例如，阈值电池电力1486)或两者的确定而产生第一感测数据370。作为另一个实例，第一图像传感器1404可基于用户偏好(例如，用户偏好1422)、基于用户输入(例如，用户输入1430)或其任何组合而产生第一感测数据1470。
作为另一实例，第一图像传感器1404可基于从装置1402接收的图像俘获请求(例如，第一图像俘获请求1472)而产生第一感测数据1470。为了说明，响应于确定激活各种触发中的一或多者，多媒体内容分类器1412可将第一图像俘获请求1472发送到第一图像传感器1404。多媒体内容分类器1412可从第一图像传感器1404接收第一感测数据1470。
特征集合提取器1414可从第一感测数据1470提取特征的第一子集(例如，特征1442的子集)。例如，特征集合提取器1414可计算图像的一或多个视觉描述符。在特定实施例中，特征集合提取器1414可基于满足提取准则的确定而提取图像的特征的第一子集。例如，在第一感测数据1470指示所述图像相对于先前图像的改变的情况下可满足所述提取准则。为了说明，在对应于第一感测数据1470的第一图像统计与对应于先前图像的第二图像统计之间的差异满足改变阈值的情况下可满足提取准则，如本文中所描述。将了解，基于确定第一感测数据1470不满足所述提取准则而制止提取特征的第一子集可节约装置1402的资源。例如，所述图像可类似于先前图像且可被忽视(例如，可跳过对所述图像的处理)且装置1402的资源可用于处理下一图像。在特定实施例中，存储器1408可在多媒体内容分类器1412的外部，存储器1408可存储第一感测数据1470，且提取特征的第一子集可包含存取存储器1408。
在特定实施例中，特征集合提取器1414可基于选择标准(例如，选择准则1438)而选择特征的第一子集，如参考图18到21进一步描述。选择准则1438可包含资源预算(例如，资源预算1420)、使用情况(例如，使用情况1436)、关注区(例如，关注区1478)，或其任何组合。在特定实施例中，特征集合提取器1414可提取少于特征集合提取器1414能够从第一感测数据1470提取的全部特征。每一提取特征可具有对应的置信水平或与其相关联。或者或另外，可从多个所提取的特征确定(例如，通过平均)总置信水平。如果多媒体内容分类器1412基于与特征的第一子集相关联的分析准则(例如，置信水平)确定将提取更多特征，那么特征集合提取器1414可随后提取更多特征。各种条件可触发额外特征的提取。在一个实施例中，如果任何所提取的特征的置信水平小于阈值置信水平，那么提取额外特征。在另一实施例中，如果总计的置信水平小于阈值置信水平，那么提取额外特征。其它条件还可用于确定是否将提取额外特征。将了解，起初提取更少特征可节约装置1402的资源，因为多媒体内容分类器1412可确定将不提取更多特征。
在特定实施例中，特征集合提取器1414可为第二处理装置310的一部分或集成到其中。例如，特征集合提取器1414可基于满足提取准则而提取特征的第一子集。所述提取准则可基于第一感测数据1470。例如，图3的第一处理装置304可产生对应于图1的第一帧102的第一图像统计且可产生对应于图1的第二帧104的第二图像统计。在此实施例中，第一感测数据1470可对应于第二帧104。
可基于应用专有处理而产生第一图像统计及第二图像统计。应用专有处理可包含确定感测数据(例如，对应于第一帧102的第一感测数据1470及/或第二感测数据)是否指示特定物体(例如，交通停车标志)处于对应图像中、指示触发警告事件(例如，检测到特定手势)、指示特定色彩的物体处于所述图像中，或其组合。应用专有处理可包含活动辨识、人员辨识、物体辨识、位置辨识或手势辨识中的至少一者。
在特定实施例中，存储器1408可存储各种应用处理类型及对应类型的统计之间的映射。例如，对应于检测到特定物体(例如，交通停车标志)的特定应用处理类型可映射到对应于特定色彩(例如，红色)的色彩直方图的特定统计类型。第二处理装置310可基于所述特定应用处理类型及所述映射而将指示特定统计类型的配置数据提供给第一处理装置304。第一处理装置304可产生对应于特定统计类型的第一图像统计及第二图像统计。例如，第一图像统计可包含对应于第二帧104的第一色彩直方图中的特定色彩(例如，红色)的像素的第一计数，且第二图像统计可包含对应于第一帧102的第二色彩中的特定色彩(例如，红色)的像素的第二计数。
图1的统计处理装置108可响应于确定满足提取准则而将第一感测数据1470提供给第二处理装置310。例如，统计处理装置108可响应于确定第一图像统计(例如，像素的第一计数)及第二图像统计(例如，像素的第二计数)之间的改变量满足改变阈值而将第一感测数据1470提供给第二处理装置310(例如，特征集合提取器1414)。在特定实施例中，当第一感测数据1470指示场景改变时可满足提取准则。例如，统计处理装置108可包含场景改变检测器1460。统计处理装置108可基于场景改变检测器1460确定第一感测数据1470指示场景改变而确定满足提取准则，如参看图22进一步描述。在特定实施例中，当第一感测数据1470指示图像的锐度满足阈值锐度水平(例如，阈值数据1434的阈值锐度水平1484)时可满足提取准则，如参看图23进一步描述。例如，统计处理装置108可包含经配置以确定图像的锐度是否满足阈值锐度水平的模糊图像检测器1462。
统计处理装置108可响应于确定改变量不满足改变阈值而停止将第一感测数据1470提供给特征集合提取器1414。特征集合提取器1414可响应于接收到第一感测数据1470而提取特征的第一子集。确定是否满足提取准则可比提取特征的第一子集使用装置1402的更少资源。将了解，起初确定是否满足提取准则可节约装置1402的资源，因为统计处理装置108可确定第一帧102与第二帧104之间的改变量不足以(例如，低于改变阈值)提取第二帧104的特征。
在替代实施例中，特征集合提取器1414可为图3的第一处理装置304的一部分或集成到其中。例如，第一处理装置304处的特征集合提取器1414可从第一感测数据1470提取特征的第一子集。第一处理装置304可基于所述特征的第一子集而确定第一图像统计。第一处理装置304可将所述第一图像统计提供给图1的统计处理装置108。统计处理装置108可基于第一图像统计及第二图像的第二图像统计而确定是否满足提取准则，如本文中所描述。统计处理装置108可基于确定满足提取准则而将第一感测数据1470提供给图3的第二处理装置310。
在又一实施例中，第一处理装置304处的特征集合提取器1414可从第一感测数据1470提取特征的第一子集。第一处理装置304可确定与提取特征的第一子集相关联的置信水平且可将所述置信水平提供给图1的统计处理装置108。统计处理装置108可基于确定所述置信水平是否满足阈值置信水平1482而确定是否满足提取准则。统计处理装置108可基于确定置信水平满足阈值置信水平1482而将第一感测数据1470、特征的第一子集或两者提供给特征集合群集器1416。统计处理装置108可替代地基于确定置信水平未能满足阈值置信水平1482而将第一感测数据1470提供给特征集合提取器1414。在特定实施例中，图3的第二处理装置310可包含特征集合群集器1416且可包含特征集合提取器1414。例如，第一处理装置304及第二处理装置310中的每一者可包含特征集合提取器1414的版本。
在特定实施例中，图像的特征可包含移动图片专家组7(MPEG-7)视觉描述符、通用搜索树(GIST)描述符、普查变换直方图(CENTRIST)视觉描述符、词袋描述符、视觉上局部聚集描述符、空间金字塔匹配描述符，或其组合。MPEG-7视觉描述符可包含以下各者中的一或多者：可缩放色彩描述符(SCD)、色彩结构描述符(CSD)、帧群组(GOF)描述符、图片群组(GOP)描述符、主要色彩描述符(DCD)、色彩布局描述符(CLD)、纹理浏览描述符(TBD)、同构纹理描述符(HTD)、边缘直方图描述符(EHD)、基于轮廓的形状描述符、基于区的形状描述符、相机运动描述符(CMD)、运动轨迹描述符(MTD)、参数运动描述符(PMD)，或运动活动描述符(MAD)。这些描述符中的一或多者可从所俘获图像提取色彩、纹理、运动、边缘、形状及/或场景信息。特征集合提取器可确定与特征的第一子集中的每一者相关联的置信水平。例如，每一MPEG-7视觉描述符可具有相关联的置信水平。特征集合提取器1414可将特征的第一子集(例如，特征342的子集)存储在存储器1408中。
在特定实施例中，当第一图像传感器1404以给定数据取样间隔(例如，每分钟一次)连续地俘获图像时，感测数据(例如，第一感测数据1470)可对于许多连续图像保持实质上相同。例如，装置1402可为用户1452的移动装置。用户1452可在工作时将装置1402放置在桌子的顶部上，其中第一图像传感器1404俘获大体上类似的图像(例如，天花板的图像)。在此实例中，特征集合群集器1416可通过组合在特定持续时间内俘获的图像的特征的子集而产生特征的第一群集子集(例如，特征的群集子集1476)。例如，特征集合群集器1416可通过基于第一时戳在第二时戳的阈值群集持续时间(例如，阈值持续时间1480)内而组合与图像相关的特征的第一子集及与第二图像相关的另一特征子集(例如，特征的子集1442)而产生特征的第一群集子集(例如，特征的群集子集1476)。第一时戳(例如，时戳1494)可与所述图像相关联且第二时戳(例如，时戳1494)可与第二图像相关联。例如，第一时戳可指示第一图像传感器1404何时俘获图像或装置1402何时接收第一感测数据1470。类似地，第二时戳可指示第一图像传感器1404何时俘获第二图像或装置1402何时接收与第二图像相关的感测数据。特征的群集子集1476可因此表示时间群集共同特征(例如，在用户坐在他的/她的桌子处的时间期间的天花板的特征)。
特征集合群集器1416可通过基于第一时戳(例如，2013年7月10日上午10:00)及第二时戳(例如，2013年7月10日上午10:03)在阈值群集持续时间(例如，五分钟)内而组合图像的特征的第一子集(例如，边缘直方图描述符、普查变换或嘉宝滤波结果)与第二图像的特征的另一子集(例如，第二边缘直方图描述符、普查变换或嘉宝滤波结果)而产生特征的第一群集子集(例如，特征的群集子集1476)。特征的第一群集子集可包含特征的第一子集、特征的另一子集，或两者。特征的第一群集子集可指示对应的持续时间(例如，2013年7月10日上午10:00到上午10:04)。与个别地分析特征的第一子集及特征的第二子集相比，对特征的第一群集子集的后续分析可使用装置302的较少的资源。特征集合群集器1416可将特征的第一群集子集(例如，特征的群集子集1476)存储在存储器1408中。
特征集合分类器1418可通过基于第一分类模型(例如，分类模型1428)对特征的第一群集子集(例如，特征的群集子集1476)进行分类而产生特征的第一分类子集(例如，特征的分类子集1474)。第一分类模型可指示特征的第一群集子集对应于特定位置、特定人员、特定物体、特定活动，或其任何组合。第一分类模型还可指示与对应关系相关联的置信水平。因此，特征集合分类器1418可产生指示特征的第一群集子集对应于所述位置、所述人员、所述物体、所述活动或其任何组合的特征的第一分类子集。特征的第一分类子集还可指示相关联的置信水平。例如，特征的第一分类子集可指示特征的第一群集子集对应于具有特定置信水平(例如，低)的特定类型的位置(例如，在室内)。在特定实施例中，特征的第一分类子集还可指示相关联的持续时间。例如，特征的第一分类子集可指示与特征的第一群集子集、第一时戳、第二时戳或其任何组合相关联的持续时间(例如，2013年7月10日上午10:00到上午10:04)。为了说明，特征的第一分类子集可使用“低”置信水平(例如，小于“低”置信水平阈值25％的置信水平20％)指示“背景”在2013年7月10日上午10:00到上午10:04期间是在室内。特征集合分类器1418可将特征的第一分类子集(例如，特征的分类子集1474)存储在存储器308中。
多媒体内容分类器1412可确定特征的第一子集的置信水平是否满足阈值置信水平(例如，阈值置信水平1482)。在特定实施例中，多媒体内容分类器1412可响应于确定中间背景数据(例如，中间背景数据1492)的置信水平不满足阈值置信水平1482而确定特征的第一子集的置信水平不满足阈值置信水平1482。中间背景数据1492可对应于图像的部分背景。例如，中间背景数据1492可对应于特征的第一子集(例如，特征的子集1442)、特征的第一群集子集(例如，特征的群集子集1476)，或特征的第一分类子集(例如，特征的分类子集1474)。
例如，特征的第一子集可包含图像的边缘直方图描述符或普查变换及相关联的置信水平。多媒体内容分类器1412可确定相关联的置信水平中的一或多者不满足阈值置信水平1482。因此，多媒体内容分类器1412可确定特征的第一子集的置信水平及因此中间背景数据1492不满足阈值置信水平1482。
作为另一实例，特征集合群集器1416可确定与特征的第一群集子集(例如，特征的群集子集1476)相关联的置信水平不满足阈值置信水平1482。为了说明，特征集合群集器1416可确定与所述图像及第二图像中的一者而不是两者有关的特征的第一群集子集的特征的特定(例如，低)置信水平。作为另一实例，特征集合群集器1416可基于与第一图像及第二图像相关联的特征的置信水平的函数(例如，平均值)而确定所述特定置信水平。特征的第一子集的特定特征可具有第一置信水平(例如，低)。特征的另一子集的特定特征可具有第二置信水平(例如，高)。特征集合群集器1416可确定所述特定置信水平是所述第一置信水平及所述第二置信水平的平均值(例如，中值)。多媒体内容分类器1412可确定所述特定置信水平不满足阈值置信水平1482。因此，多媒体内容分类器1412可确定与特征的第一群集子集相关联的置信水平及因此中间背景数据1492不满足阈值置信水平1482。
作为另一个实例，多媒体内容分类器1412可确定与特征的第一分类子集(例如，特征的分类子集1474)相关联的置信水平不满足阈值置信水平1482。为了说明，特征的第一分类子集可指示特征的第一群集子集对应于具有不满足阈值置信水平1482的特定置信水平的特定类型的位置(例如，在室内)。因此，多媒体内容分类器1412可确定与特征的第一分类子集相关联的置信水平及因此中间背景数据1492不满足阈值置信水平1482。
响应于确定中间背景数据1492的置信水平不满足阈值置信水平1482，特征集合提取器1414可提取特征的第二子集(例如，特征的子集1442)。例如，特征集合提取器1414可响应于确定与特征的第一子集、特征的第一群集子集或特征的第一分类子集相关联的置信水平不满足阈值置信水平1482而提取额外特征(例如，特征的第二子集)。
在特定实施例中，特征的第二子集(例如，特征的子集1442)可与图像相关且可从第一感测数据1470提取。例如，特征集合提取器1414可使用直方图均衡化扩展图像的灰度级范围，之后重新计算图像的边缘直方图描述符。重新计算的边缘直方图描述符(即，特征的第二子集)可具有比先前计算的边缘直方图描述符更高的相关联置信水平。作为另一实例，特征集合提取器1414可提取先前未提取的图像的第二视觉描述符(即，特征的第二子集)(例如，色彩描述符、纹理描述符、GIST描述符、CENTRIST描述符或其任何组合)。所述第二视觉描述符可具有比先前提取的视觉描述符更高的相关联置信水平。
在特定实施例中，特征的第二子集(例如，特征的子集1442)可与另一图像相关。例如，多媒体内容分类器1412可响应于确定特征的第一子集的置信水平不满足阈值置信水平1482而向另一图像传感器(例如，第N图像传感器1440)发送对第二感测数据(例如，第二感测数据1424)的请求(例如，第二图像俘获请求1426)。响应于第二图像俘获请求1426，第N图像传感器1440可俘获另一图像且可将与所述另一图像相关的第二感测数据1424发送到装置1402。
在特定实施例中，所述图像可对应于第一图像传感器1404的第一设定且所述另一图像可对应于第N图像传感器1440的第二设定。所述第一设定可包含缩放设定、分辨率设定、角度设定、位置，或其任何组合。所述第一设定可不同于所述第二设定。例如，第二设定可对应于比第一设定更高的缩放、比第一设定更高的分辨率、与第一设定不同的角度、与第一设定不同的位置，或其任何组合。使用特征的第二子集(例如，特征的子集1442)可增加与特征的第一群集子集、特征的第一分类子集或两者相关联的一或多个置信水平。
在特定实施例中，第一图像传感器1404可集成到第一装置中，第N图像传感器1440可集成到第二装置中，且第一装置可不同于第二装置。例如，第一图像传感器1404可集成到相机中且第N图像传感器1440可集成到另一相机中。
特征集合提取器1414可从第二感测数据1424提取特征的第二子集(例如，特征的子集1442)。在特定实施例中，特征集合提取器1414可基于确定满足提取准则而提取特征的第二子集。例如，多媒体内容分类器1412(例如，图3的第一处理装置304)可基于第一感测数据1470而确定第一图像统计且可基于第二感测数据1424而确定第二图像统计。多媒体内容分类器1412(例如，图1的统计处理装置108)可基于确定对应于第一图像统计与第二图像统计之间的差异的改变量满足改变阈值而将第二感测数据1424提供给特征集合提取器1414(例如，在第二处理装置310处)以提取特征的第二子集。多媒体内容分类器1412(例如，图1的统计处理装置108)可基于确定所述改变量未能满足改变阈值而丢弃第二感测数据1424(例如，制止将第二感测数据1424提供给第二处理装置310)。
在特定实施例中，特征集合提取器1414可基于选择准则1438而选择特征的第二子集，如参考图18到21进一步描述。特征集合提取器1414可将特征的第二子集(例如，特征的子集1442)存储在存储器1408中。提取特征的第一子集可比提取特征的第二子集使用装置1402的更少的资源(例如，存储器、电力、处理器执行循环)。
特征集合群集器1416可通过基于与图像相关联的第一时戳、与第二图像相关联的第二时戳、与另一图像相关联的另一时戳或其任何组合将特征的第二子集(例如，特征的子集1442)群集而产生特征的第二群集子集(例如，特征的群集子集1476)。例如，特征的第二群集子集可包含特征的第一群集子集、特征的第二子集、对应于特征的第二子集的第二图像的特征的另一子集，或其任何组合。在特定实施例中，特征的第二群集子集可包含图像的边缘直方图描述符及第二图像的第二边缘直方图描述符的组合、第一图像的GIST描述符及第二图像的第二GIST描述符的组合，及第一图像的CENTRIST描述符及第二图像的第二CENTRIST描述符的组合。
特征集合分类器1418可至少部分基于特征的第二子集而产生指示图像的背景的背景数据(例如，背景数据1490)。图像的背景可包含位置、人员、活动或其任何组合。例如，特征集合分类器1418可通过基于第二分类模型(例如，分类模型1428)对特征的第一群集子集、特征的第二群集子集或两者进行分类而产生背景数据1490。例如，所述第二分类模型可指示特征的第一群集子集、特征的第二群集子集或两者对应于特定建筑物的特定房间。第二分类模型可指示与对应关系相关联的置信水平。基于第二分类模型，特征集合分类器1418可产生指示对应于特定房间的图像的背景的背景数据1490。背景数据1490可指示相关联的置信水平。例如，背景数据1490可指示与对应于特定房间的图像的背景相关联的特定置信水平(例如，高)。在特定实施例中，背景数据1490还可指示相关联的持续时间。例如，背景数据1490可指示装置1402在特定房间(例如，用户1452在那里工作)中停留了一定持续时间(例如，2013年7月10日上午10:00到上午10:04)。所述持续时间可与特征的群集子集(例如，特征的第一群集子集、特征的第二群集子集或两者)、第一时戳、第二时戳、另一时戳或其任何组合相关联。
因此，在前述实例中，虽然特征的第一分类子集指示与背景“在室内”相关联的“低”置信水平(例如，25％)，但背景数据1490指示更多细化背景(例如，“在工作”)的更高置信水平(例如，85％)。将了解，在某些使用情况中，较低置信水平及从特征的第一子集产生的较少细化背景可为足够的。在此些情形中，可通过输出较少的细化背景且制止提取特征的第二子集而节约资源。在其中较低置信水平及较少细化背景的情形中是不足够的，可使用额外资源提取特征的第二子集以产生具有较高置信水平的更多细化背景。
多媒体内容分类器1412可将背景数据1490输出(或使得可存取)到应用(例如，应用1444)。在特定实施例中，应用1444可包含背景提取引擎、背景感知引擎或两者。应用1444可包含计算机视觉应用。例如，应用1444可包含生活标注应用、宏观地理防御应用，微观地理防御应用、运动活动检测应用、文本检测应用、物体检测应用、手势检测应用，或其任何组合。例如，多媒体内容分类器1412可将背景数据1490输出到生活标注应用。基于背景数据1490，生活标注应用可推断用户1452在持续时间期间(例如，2013年7月10日上午10:00到上午10:04)在特定房间(例如，在工作)中。
在特定实施例中，特征集合提取器1414可响应于场景改变检测器(例如，场景改变检测器1460)检测到第一感测数据1470指示场景改变而提取特征的第一子集(例如，特征的子集1442)，如参看图22进一步描述。例如，可不提取表示与先前分析的图像相同的场景的图像的特征，进而节约装置1402的资源。
在特定实施例中，特征集合提取器1414可响应于模糊图像检测器(例如，模糊图像检测器1462)确定第一感测数据1470指示图像的锐度满足阈值锐度水平(例如，阈值数据1434的阈值锐度水平1484)而提取特征的第一子集(例如，特征的子集1442)，如参看图23进一步描述。例如，太模糊而不满足阈值锐度水平1484的图像的特征可不用于识别图像的背景且可不被提取用于分析，进而节约装置1402的资源。
因此，系统1400可在装置1402的资源的有效使用的情况下实现图像背景识别。例如，当图像不对应于先前提取的图像、模糊图像或两者时可提取所述图像的特征。此外，可起初提取图像的部分特征，其中在所述部分特征不满足阈值置信水平的情况下提取额外特征。可使得装置1402能够在使用更少资源的同时分析更大数目的图像。
参看图15，揭示与提取图像的特征的子集相关联的计算间隔的特定说明性实施例且一般标示为1500。
图14的装置1402可以数据取样间隔(例如，数据取样间隔1506)从图像传感器(例如，第一图像传感器1404)周期性地接收感测数据(例如，第一感测数据1470)。特定数目(例如，N＝2)的特征可为可由特征集合提取器1414从感测数据提取的。例如，装置1402可在时间1502且在时间1504(即，以数据取样间隔1506)周期性地接收第一感测数据1470。作为另一实例，装置1402可在时间1512、在时间1514及在时间1516接收第一感测数据1470。在特定实施例中，特征集合提取器1414可在每一数据取样间隔期间提取全部(例如，N个)特征。
在另一特定实施例中，可基于与感测数据(例如，所提取的特征)相关联的提取准则、分析准则(例如，置信水平)或两者而提取所述数目的特征。例如，特征集合提取器1414可响应于与特征的第一子集相关联的置信水平不满足阈值置信水平(例如，阈值置信水平1482)而在时间1512提取特征的第一子集及特征的第二子集，如参考图14进一步描述。因此特征集合提取器1414可在时间1512提取第一数目(例如，两个)特征。在特定实施例中，特征集合提取器1414可至少部分基于确定满足提取准则而在时间1512提取特征的第一子集及特征的第二子集，如参看图14所描述。
随后，装置1402可在时间1514接收第一感测数据1470。特征集合提取器1414可响应于确定与特征的第一子集相关联的置信水平满足阈值置信水平1482而在时间1514提取特征的第一子集且可不提取特征的第二子集，如参看图14进一步描述。因此，特征集合提取器1414可在时间1514提取更少(例如，一个)特征。在特定实施例中，特征集合提取器1414可至少部分基于确定满足提取准则而在时间1514提取特征的第一子集，如参看图14所描述。
装置1402可随后在时间1516接收第一感测数据1470。特征集合提取器1414可响应于与特征的第一子集相关联的置信水平不满足阈值置信水平1482而在时间1516提取特征的第一子集及特征的第二子集。因此，特征集合提取器1414可在时间1516比在时间1514提取更多(例如，两个)特征。在特定实施例中，特征集合提取器1414可至少部分基于确定满足提取准则而在时间1516提取特征的第一子集及特征的第二子集，如参看图14所描述。
因此，如图15中所展示，可以第一计算间隔1508在时间1512、1514及1516提取特征的第一子集。所述第一计算间隔1508可大致等于数据取样间隔1506。可以第二计算间隔1510在时间1512及1516提取特征的第二子集。第二计算间隔1510可大于数据取样间隔1506。
因此，特征集合提取器1414可较频繁地提取较少的特征且可较不频繁地且在需要时提取较多的特征，进而节约装置1402的资源。
参看图16，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为1600。可由以下各者执行系统1600的操作中的一或多者：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统1600可包含1604处的特征集合1提取。操作504可对应于图14的特征集合提取器1414提取特征的第一子集，如参看图14进一步描述。系统1600可包含1624处的特征集合M提取。操作1624可对应于图14的特征集合提取器1414提取特征的第二子集，如参看图14进一步描述。系统1600可包含1606处的特征集合群集。操作1606可对应于图14的特征集合群集器1416的操作。系统1600可包含1608处的特征集合分类。操作1608可对应于图14的特征集合分类器1418的操作。
系统1600可产生中间推断1620。中间推断1620可对应于图14的特征的分类子集1474。系统1600可产生最终推断1610。最终推断1610可对应于图14的背景数据1490。
在特定实施例中，将提取哪些及多少特征可取决于装置能力。例如，具有不满足第一存储器阈值的存储器不满足第一处理器速度阈值的处理器速度或两者的装置可对应于低端装置。具有满足第一存储器阈值且不满足第二存储器阈值的存储器、满足第一处理器速度阈值且不满足第二处理器速度阈值的处理器速度或两者的装置可对应于中端装置。满足两个存储器阈值的装置、满足两个速度阈值的处理器速度可对应于高端装置。
在特定实施例中，系统1600可针对低端装置制止确定是否将提取较多特征。在此实施例中，特征的第一分类子集可被视为最终推断1610。分析第一感测数据1470的较多特征在低端装置的资源(例如，存储器或处理器速度)限制下可不实际。例如，使用低端装置分析第一感测数据1470的额外特征可花费比阈值分析持续时间长的时间。
系统1600可在1622处确定是否需要较多特征。例如，系统1600可基于装置1402的能力(例如，处理器速度、存储器速度，或两者)、提取准则、分析准则(例如，置信水平)或其组合而确定是否将提取特征的第二子集。例如，系统1600可基于与特征的分类子集1474相关联的置信水平而确定是否针对中端装置或高端装置提取额外特征(例如，特征的第二子集)，如参看图14进一步描述。
在特定实施例中，特征集合提取器1414可基于装置1402的能力而选择将包含在特征的第二子集中的特定数目的特征。例如，特征集合提取器1414可针对中端装置比针对高端装置提取较少的额外特征。
因此，可在较高端装置处比在较低端装置处从感测数据提取更多特征。较低端装置的较少资源可用于产生图像背景数据，而可针对较高端装置产生具有较高相关联置信水平的图像背景数据。
参看图17，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为1700。可由以下各者执行系统1700的操作中的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统1700的组件可以与图16的系统1600的对应组件类似的方式操作。系统1700可产生第一中间推断1702。第一中间推断1702可对应于图14的特征的群集子集1476。系统1700可产生第二中间推断1704。第二中间推断1704可对应于图14的特征的分类子集1474。
系统1700可执行一或多个特征提取(例如，特征集合1提取1604、特征集合2提取1722、特征集合N提取1724，或其任何组合)。系统1700可执行特征集合群集1606且可执行特征集合分类1608。
在执行一或多个特征集合提取(例如，特征集合1提取1604、特征集合2提取1622或特征集合N提取1624)、特征集合群集1606及特征集合分类1608中的每一者之后，系统1700可例如在1710、1712、1714或1622处确定是否需要更多特征。例如，多媒体内容分类器1412可基于分析准则(例如，置信水平)、提取准则或两者而确定是否将提取额外特征，如参看图14进一步描述。
因此，系统1700可实现图像背景识别。可在分析的各个阶段处(例如，在提取其它特征之后、在群集之后，或在分类之后)提取额外特征，直到实现阈值置信水平为止。
参看图18，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为1800。可由以下各者执行系统1800的操作中的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统1800的组件可以与图17的系统1700的对应组件类似的方式操作。系统1800可基于使用情况1436从感测数据(例如，图14的第一感测数据1470)选择要提取的特征子集。使用情况1436可包含活动辨识、人员辨识、物体辨识、位置辨识、手势辨识、情绪辨识、视线检测、保健监视(例如，物理条件辨识)，或其任何组合。在特定实施例中，使用情况1436可对应于应用专有处理。例如，图3的第一处理装置304可基于使用情况1436而产生图像统计，如参看图14所描述。
可辨识的活动的实例包含看电视、玩游戏、阅读、书写、查看屏幕、给予呈现、在会议中、仅工作、会见人、吃、购物、烹调、通勤等。可辨识的个人的实例包含特定个人(例如，“约翰史密斯”)、一类型的人员(例如，警官、消防员、飞行员、空中乘务员或医生)，或其任何组合。
物体的实例包含路标、面部、手、手指、拇指印、玩具、钥匙、电话、武器、汽车、牌照等。可辨识的位置的实例包含特定建筑物(例如，特定州的州议会大厦)、一类型的建筑物(例如，博物馆、学校、医院或游乐场)，或其任何组合。可辨识的手势的实例包含在特定方向上观看、指向特定方向、在特定方向上滑动、手移动、眼睛移动，或其任何组合。
在特定实施例中，分类模型(例如，分类模型1428)可指示将使用情况1436分析特征的至少第一子集。例如，使用情况1436可对应于确定图像的背景是否对应于特定类型的位置(例如，“在室内”)。分类模型可指示可分析至少CENTRIST描述符及GIST描述符以确定图像的背景是否对应于所述特定位置。基于使用情况1436及分类模型，特征集合提取器1414可从第一感测数据1470提取图像的特征的第一子集(例如，GIST及CENTRIST描述符)。在特定实施例中，特征集合提取器1414可基于确定满足提取准则而提取所述特征的第一子集，如参看图14所描述。
在特定实施例中，分类模型可指示将针对相同或不同的使用情况1436分析特征的第二子集。例如，特征的第二子集可包含预先训练的通用物体检测器的尺度不变响应图，例如物体库描述符。在特定实施例中，分类模型可指示特征的第一子集被高度推荐且特征的第二子集可有助于分析使用情况1436。在此实施例中，特征集合提取器1414可基于分析准则、提取准则或两者而提取特征的第二子集。例如，特征集合提取器1414可响应于确定满足提取准则、与提取特征的第一子集相关联的置信水平不满足阈值置信水平(例如，阈值置信水平1482)或两者而提取特征的第二子集，如参看图14进一步描述。
因此，可从感测数据提取适合于分析特定使用情况的特征的子集。因此，识别图像背景的效率可增加。例如，特征集合提取器1414可确定特征的特定集合被高度推荐用于分析特定使用情况。在初始特征提取期间提取所有高度推荐的特征可比在提取每一高度推荐的特征之后执行群集及分类且随后基于相关联的置信水平提取下一高度推荐的特征更有效。作为另一实例，特征集合提取器1414可制止提取已知对分析特定使用情况1436无助的额外特征，进而节约装置1402的资源。
参看图19，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为1900。可由以下各者执行系统1600的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、相机302、图4的传感器404、改变检测电路414、应用处理器418、图5的传感器502、选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的传感器602、预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的相机842、环境光传感器840、激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图12的一或多个相机1210、图13的背景确定引擎1380、图14的装置1402、装置1402的一或多个图像传感器(例如，第一图像传感器1404或第N图像传感器1440)，或其任何组合。
系统1900的组件可以与图18的系统1800的对应组件类似的方式操作。系统1900可基于资源信息(例如，资源信息1902)从感测数据(例如，图14的第一感测数据1470)选择要提取的特征子集。资源信息1902可包含资源可用性信息、资源预算(例如，图14的资源预算1420)，或两者。
资源预算1420可包含存储器预算、电力预算、每时间周期(例如，每秒)的指令的数目预算，或其任何组合。资源可用性信息1802可包含存储器可用性、电力可用性、每时间周期(例如，每秒)的指令的数目可用性，或其任何组合。
资源可用性信息1802可不同于资源预算1420，原因在于资源可用性信息1802可指示装置1402的资源的什么部分或量可用于使用(例如，由任何应用)且资源预算1420可指示准许装置1402的资源的什么部分或量由多媒体内容分类器1412使用。
资源可用性信息1802可指示特定百分比(或特定量)的资源是可用的。在特定实施例中，如果资源可用性不满足阈值资源可用性(例如，阈值电池电力1486、阈值带宽1488、阈值存储器、阈值数目的每秒指令，或其任何组合)，那么特征集合提取器1414可不提取任何特征。
在特定实施例中，多媒体内容分类器1412可存取与特征的特定子集的分析相关联的资源利用率估计。在此实施例中，当资源可用性大于分析特征的特定子集的所估计的资源利用率时，多媒体内容分类器1412可选择特征的所述特定子集。
在特定实施例中，多媒体内容分类器1412可基于资源预算1420确定是否从第一感测数据1470提取特征的子集(例如，特征的第一子集、特征的第二子集或两者)。例如，特征集合提取器1414可确定特定百分比(或特定量)的资源预算1420正由多媒体内容分类器1412利用。当小于整个资源预算1420正由多媒体内容分类器1412利用时，特征集合提取器1414可提取特征的子集。
在特定实施例中，资源预算1420可对应于提取准则。例如，图3的第一处理装置304可接收资源预算1420且可产生指示特定百分比(或特定量)的资源预算1420正被利用(例如，被系统300利用)的第一图像统计。统计处理装置108可基于确定小于整个资源预算1420正被利用而将第一感测数据1470提供给第二处理装置310。
在特定实施例中，多媒体内容分类器1412可存取与特征的特定子集的分析(例如，提取、群集或分类)相关联的资源利用率的估计。例如，可由多媒体内容分类器1412基于另一图像的特征的特定子集的先前分析而产生所估计的资源利用率。在此实施例中，当剩余的资源预算1420多于分析特征的特定子集的所估计的资源利用率时，多媒体内容分类器1412可提取特征的特定子集。在特定实施例中，第一处理装置304可产生指示所估计的资源利用率的第一图像统计，且统计处理装置108可基于确定剩余的资源预算1420多于所估计的资源利用率而将第一感测数据1470提供给第二处理装置310。
资源预算1420可基于用户偏好(例如，用户偏好1422)。例如，用户偏好1422可指示没有后台应用将占用多于特定百分比(例如，20％)的资源。
在特定实施例中，系统1900还可基于资源可用性信息、资源预算1420或两者而产生感测数据(例如，图14的第一感测数据1470)。例如，多媒体内容分类器1412可响应于确定资源可用性信息1802指示特定资源可用、小于整个资源预算1420正由多媒体内容分类器1412利用或两者而将请求(例如，第一图像俘获请求1472)发送到第一图像传感器1404。
因此，多媒体内容分类器1412可基于当前或未来的资源可用性(例如，资源预算1420、资源可用性信息或两者)而执行图像背景识别。当足够的资源可用时可产生感测数据。可通过当足够的资源不可用时第一图像传感器1404制止产生供多媒体内容分类器1412分析的感测数据而节约装置1402的资源。当资源预算1420更有限时装置1402的较少资源可以用于图像背景识别，而当资源预算1420较大时可产生具有更高相关联的置信水平的背景数据。此外，当有限资源可用时装置1402的较少资源可以用于图像背景识别，而当较多资源可用时可产生具有更高相关联的置信水平的背景数据。例如，如果资源可用性信息1802指示装置1402的剩余的电池电力不满足阈值电池电力1486，那么多媒体内容分类器1412可分析较少图像(例如，可增加数据取样间隔)、可从第一感测数据1470提取较少特征、可制止从第一感测数据1470提取特征，或其组合。
参看图20，揭示可操作以识别图像的背景的系统的另一特定实施例的图且一般标示为2000。可由以下各者执行系统2000的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2000的组件可以与图18的系统1800的对应组件类似的方式操作。系统2000可在特征集合1提取1604期间提取或识别关注区(例如，关注区1478)。关注区1478可对应于图像的特定部分。可基于使用情况(例如，图14的使用情况1436)、基于图像与先前图像之间的差异或两者而确定关注区1478。例如，关注区1478当使用情况1436包含人员辨识时可对应于面部且当使用情况1436包含活动辨识时可对应于物体。
作为另一实例，使用情况1436可包含对特定物体(例如，汽车钥匙)的物体检测。用户1452可能将汽车钥匙放错地方且可请求显示最后包含汽车钥匙的第一图像。在特定实施例中，使用情况1436可对应于应用专有处理。第一分类模型(例如，图14的分类模型1428)可指示特征的特定子集的特定值对应于使用情况1436。为了说明第一分类模型可指示边缘直方图描述符的特定值对应于特定物体(例如，汽车钥匙)。特征集合提取器1414可从感测数据(例如，第一感测数据1470)提取图像的特征的特定子集。特征集合提取器1414可确定图像的特定部分的特征的特定子集的值对应于由第一分类模型指示的特定值。第一感测数据1470的一部分可对应于图像的特定部分。为了说明，图像的特定部分可包含特定物体(例如，汽车钥匙)或具有类似特性(例如，形状)的另一物体。特征集合提取器1414可通过复制对应于图像的特定部分的第一感测数据1470的部分而产生关注区1478。
作为另一实例，特征集合提取器1414可将对应于图像的第一感测数据1470与对应于先前图像的其它感测数据进行比较。例如，所述图像及所述先前图像可能已经在会议期间俘获。基于所述比较，特征集合提取器1414可确定第一感测数据1470的一部分不同于另一感测数据。第一感测数据1470的所述部分可对应于图像的特定部分。例如，图像的特定部分可对应于在会议期间改变位置的人员。特征集合提取器1414可通过复制对应于图像的特定部分的第一感测数据1470的部分而产生关注区1478。
系统2000可使用关注区1478执行特征提取(例如，特征集合2提取、特征集合N提取或两者)。例如，特征集合提取器1414可从关注区1478提取特征的第一子集，如参看图14进一步描述。
在特定实施例中，图3的第一处理装置304可产生指示关注区1478或指示第一感测数据1470中的关注区1478的不存在的第一图像统计。统计处理装置108可基于确定第一图像统计指示关注区1478而确定满足提取准则且可基于确定满足提取准则而将对应于关注区1478的第一感测数据1470的部分提供给第二处理装置310。
因此，可提取、群集及分类图像的关注区1478的特征的子集以识别图像的背景。与整个图像相比，分析关注区1478(例如，提取其额外特征)可节约装置1402的资源。
参看图21，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为2100。可由以下各者执行系统2100的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、预处理电路604、图7的一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2100的组件可以与图20的系统2000的对应组件类似的方式操作。系统2100可通过组合从关注区(例如，关注区1478)提取的特征的第一子集(例如，特征的子集1442)与先前计算的特征(例如，先前计算的特征2102)而执行特征集合群集1606。例如，图14的特征集合群集器1416可将特征的第一子集及先前计算的特征2102群集。为了说明，关注区1478可对应于图像的与先前图像相比改变的特定部分，且先前计算的特征2102可对应于图像的与先前图像相比保持不变的其余部分。例如，当分析先前图像时可能先前已经提取先前计算的特征2102。图14的特征集合群集器1416可将特征的第一子集、先前计算的特征2102及第二图像的特征的另一子集群集，如参看图14进一步描述。
与提取对应于整个图像的特征相比，使用先前计算的特征2102可节约装置1402的资源。此外，将先前计算的特征2102及关注区1478群集以用于分类与仅将关注区1478群集相比可提高分类分析。
参看图22，揭示可操作以识别图像的背景的系统的特定说明性实施例的图且一般标示为2200。可由以下各者执行系统2200的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、预处理电路604、图7的一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2200可包含经由存储器1408耦合到场景改变检测器1460或与其通信的图像传感器2208(例如，例如图3的相机302、图4的传感器402、图5的传感器502、图6的传感器602、图8的相机842、图12的一或多个相机1210、图13的一或多个其它传感器1360、图14的第一图像传感器1404或第N图像传感器1440等图像传感器中的一或多者)。在特定实施例中，存储器1408可对应于图3的存储器306。
存储器1408可包含低/高分辨率图像缓冲器2214、第一高分辨率图像缓冲器2216、第二高分辨率图像缓冲器2218，或其任何组合。图像缓冲器中的每一者可具有相异的存储器大小且可具有相异的存储器存取时间。例如，第二高分辨率图像缓冲器2218可具有更大的存储器大小且可具有比第一高分辨率图像缓冲器2216更大的存储器存取时间，且第一高分辨率图像缓冲器2216可具有更大的存储器大小且可具有比低/高分辨率图像缓冲器2214更大的存储器存取时间。
存储器1408可经由滤波器2222耦合到场景改变检测器1460或与其通信。第一图像传感器1404可耦合到触发逻辑2202或与其通信。触发逻辑2202可耦合到计数器2204或与其通信。场景改变检测器1460可包含、耦合到本地存储装置2228或与其通信。在特定实施例中，系统2200可对应于装置1402的永启电力域。
在操作期间，触发逻辑2202可将图像俘获请求(例如，第一图像俘获请求1472)发送到第一图像传感器1404。在特定实施例中，触发逻辑2202可响应于一或多个异步事件通知(例如，异步事件通知2206)而发送第一图像俘获请求1472。异步事件通知2206可包含关于资源可用性的通知、用户输入、用户接近度、射频信号、电磁信号、机械信号、微机电系统(MEMS)信号、其它背景信息，或其任何组合。例如，异步事件通知2206可包含关于资源可用性的通知。触发逻辑2202可响应于关于资源可用性的通知而发送第一图像俘获请求1472。为了说明触发逻辑2202可响应于确定资源可用性满足资源预算(例如，资源预算1420)、用户偏好(例如，用户偏好1422)或两者而发送第一图像俘获请求1472。
作为另一实例，异步事件通知2206可包含关于用户输入(例如，用户输入1430)的通知。用户输入1430可对应于俘获图像的用户请求。触发逻辑2202可响应于关于用户输入1430的通知而发送第一图像俘获请求1472。
在特定实施例中，触发逻辑2202可响应于计数器2204的值而发送第一图像俘获请求1472。例如，计数器2204可指示自从先前图像俘获以来已逝去的特定持续时间。触发逻辑2202可响应于确定所述特定持续时间满足阈值图像俘获持续时间(例如，阈值持续时间1480)而将第一图像俘获请求1472发送到第一图像传感器1404，如参看图14进一步描述。
响应于接收到第一图像俘获请求1472，第一图像传感器1404可将高分辨率原始图像数据2220发送到存储器1408。在特定实施例中，高分辨率原始图像数据2220可对应于图14的第一感测数据1470。存储器1408可将高分辨率原始图像数据2220存储在图像缓冲器(例如，低/高分辨率图像缓冲器2214、第一高分辨率图像缓冲器2216、第二高分辨率图像缓冲器2218，或其任何组合)中。存储器1408可将高分辨率原始图像数据2220发送(或使其可存取)到滤波器2222。
滤波器2222可从高分辨率原始图像数据2220产生低分辨率原始图像数据2226。例如，低分辨率原始图像数据2226可对应于比高分辨率原始图像数据2220少的图像像素。在特定实施例中，可从对应于多个(例如，四个)像素的高分辨率原始图像数据2220的值产生对应于特定像素的低分辨率原始图像数据2226的值。例如，对应于特定像素的值可为对应于多个像素的值的平均值。
滤波器2222可将低分辨率原始图像数据2226发送(或使其可存取)到场景改变检测器1460。场景改变检测器1460可将低分辨率原始图像数据2226存储在本地存储装置2228中。在特定实施例中，滤波器2222可将低分辨率原始图像数据2226发送(或使其可存取)到本地存储装置2228。场景改变检测器1460可将低分辨率原始图像数据2226与对应于先前俘获的图像的其它图像数据进行比较。基于所述比较，场景改变检测器1460可在2226处确定低分辨率原始图像数据2226是否指示场景改变。例如，场景改变检测器1460可将图像及先前俘获的图像划分为多个块(例如，3×3块)。场景改变检测器1460可确定与图像的每一块相关联的第一感测数据1470(例如，低分辨率原始图像数据2226)的一部分与和先前俘获的图像的对应块相关联的感测数据(例如，另一图像数据)的一部分之间的差异。例如，场景改变检测器1460可确定所述图像的所述部分与先前俘获的图像之间的绝对差异的平均值。场景改变检测器1460可将所述差异(例如，所述平均值)与阈值图像差异进行比较以确定第一感测数据1470(例如，低分辨率原始图像数据2226)是否指示场景改变。
响应于确定低分辨率原始图像数据2226未指示场景改变，系统2200可在2242处等待下一触发。例如，图14的多媒体内容分类器1412可等待触发逻辑2202接收另一异步事件通知2206或计数器2204的另一值。
响应于确定低分辨率原始图像数据2226指示场景改变，在2226处，系统2200可如参看图23进一步描述而操作。在特定实施例中，滤波器2222可包含在图3的第一处理装置304中且场景改变检测器1460可包含在图1的统计处理装置108中。例如，低分辨率原始图像数据2226可对应于第一图像统计。场景改变检测器1460可基于确定低分辨率原始图像数据2226指示场景改变而确定满足提取准则。
在特定实施例中，存储器1408可接收图像数据请求2238，如参看图24进一步描述。响应于图像数据请求2238，存储器1408可输出图像数据2240，如参看图24进一步描述。图像数据2240可对应于高分辨率原始图像数据2220。
当第一图像传感器1404产生高分辨率图像数据时，滤波器2222可用于产生低分辨率图像数据。可通过场景改变检测器1460分析低分辨率图像数据以确定是否继续分析高分辨率图像数据。让场景改变检测器1460分析低分辨率图像数据与高分辨率图像数据相比可节约装置1402的资源。
参看图23，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为2300。系统2300可耦合到图22的系统2200。可由以下各者执行系统2300的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2300可包含图14的模糊图像检测器1462。模糊图像检测器1462可包含、耦合到本地存储装置2306或与其通信。
在操作期间，在2302处，系统2300可激活装置1402的第一电力域。例如，多媒体内容分类器1412可响应于场景改变检测器1460确定图像数据(例如，低分辨率原始图像数据2226)对应于场景改变而激活第一电力域，如参看图22进一步描述。作为另一实例，统计处理装置108可基于确定满足提取准则(例如，检测到场景改变)而激活第二处理装置310的第一电力域。
模糊图像检测器1462可接收低分辨率原始图像数据2226。例如，模糊图像检测器1462可从滤波器2222接收低分辨率原始图像数据2226。模糊图像检测器1462可将低分辨率原始图像数据2226存储在本地存储装置2306中。在2308处，模糊图像检测器1462可确定低分辨率原始图像数据2226是否指示图像是模糊的。例如，模糊图像检测器1462可确定低分辨率原始图像数据2226是否指示图像的锐度满足阈值锐度水平(例如，阈值锐度水平1484)。为了说明，模糊图像检测器1462可基于确定低分辨率原始图像数据2226指示图像的锐度未能满足阈值锐度水平1484而确定低分辨率原始图像数据2226指示模糊图像。模糊图像检测器1462可替代地基于确定低分辨率原始图像数据2226指示图像的锐度满足阈值锐度水平1484而确定低分辨率原始图像数据2226不指示模糊图像。
响应于模糊图像检测器1462在2308处确定低分辨率原始图像数据2226指示图像是模糊的，在2310处，系统2300可减活装置1402的第一电力域。例如，多媒体内容分类器1412可响应于模糊图像检测器1462确定低分辨率原始图像数据2226指示图像是模糊的而减活装置1402的第一电力域。在特定实施例中，统计处理装置108、第二处理装置310或两者可包含模糊图像检测器1462。统计处理装置108或第二处理装置310可基于模糊图像检测器1462确定低分辨率原始图像数据2226指示所述图像是模糊的而减活统计处理装置108的第一电力域。
响应于模糊图像检测器1462在2308处确定低分辨率原始图像数据2226指示图像不模糊，系统2300可如参看图26所描述而操作。
因此，当图像不对应于场景改变时，图23中说明的装置1402的第一电力域可保持减活，从而节约装置1402的资源。此外，可由模糊图像检测器1462分析低分辨率图像数据以确定是否继续分析高分辨率图像数据。让模糊图像检测器1462分析低分辨率图像数据与高分辨率图像数据相比也可节约装置1402的资源。
参看图24，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为2400。系统2400可耦合到图22的系统2200、图12的系统2300或两者，或与其通信。可由以下各者执行系统2400的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
在操作期间，在2402处，系统2400可激活装置1402的第二电力域。例如，多媒体内容分类器1412可响应于模糊图像检测器1462确定低分辨率原始图像数据2226指示图像不模糊而激活第二电力域，如参看图23进一步描述。
在特定实施例中，图1的统计处理装置108或图3的第二处理装置310可基于模糊图像检测器1462确定低分辨率原始图像数据2226指示图像不模糊而激活第二处理装置310的第二电力域，如参看图23进一步描述。
在2402处，系统2400可输出图像数据请求(例如，图22的图像数据请求2238)。例如，多媒体内容分类器1412可响应于模糊图像检测器1462确定低分辨率原始图像数据2226指示图像不模糊而将图像数据请求2238输出到存储器1408，如参看图22进一步描述。在特定实施例中，第二处理装置310可基于模糊图像检测器1462确定低分辨率原始图像数据2226指示图像不模糊而将图像数据请求输出到存储器306。
系统2400可接收图像数据(例如，图像数据2240)且可执行特征计算2404。例如，存储器1408可响应于图像数据请求2238而将图像数据2240输出到多媒体内容分类器1412，如参看图22进一步描述。图像数据2240可对应于高分辨率原始图像数据2220。特征集合提取器1414可从高分辨率原始图像数据2220提取特征的第一子集，如参看图14进一步描述。在特定实施例中，第二处理装置310可对从存储器306接收的高分辨率原始图像数据执行应用专有处理。例如，第二处理装置310可激活对应于应用专有处理的特定步骤的后续电力域。为了说明，第二电力域可对应于图7的第二应用处理器706且后续电力域可对应于第M应用处理器708。
系统2400可执行特征群集1606且可执行特征集合分类1608，如参看图16进一步描述。在2406处，系统2400可确定与特征的第一子集相关联的置信水平是否高。在特定实施例中，操作1306可对应于图16的操作1622。例如，多媒体内容分类器1412可确定与特征的第一分类子集(例如，特征的分类子集1474)相关联的置信水平是否满足阈值置信水平(例如，阈值置信水平1482)，如参看图14进一步描述。
响应于在2406处确定置信水平不高(例如，不满足表示“高”置信度的数值阈值(例如，75％))，系统2400可执行额外特征(例如，MPEG-7、GIST、CENTRIST等)计算2404。例如，特征集合提取器1414可从图像数据2240提取特征的第二子集，如参看图24进一步描述。
响应于在2406处确定置信水平为高，在2408处，系统2400可进行到输出视觉环境数据。例如，多媒体内容分类器1412可产生背景数据(例如，背景数据1490)，如参看图14所描述。多媒体内容分类器1412可在显示器1406处起始背景数据1490的显示。
在2410处，系统2400可减活第二电力域。例如，多媒体内容分类器1412可减活装置1402的第二电力域。在特定实施例中，第二处理装置310可减活第二处理装置310的第二电力域。
因此，当图像不对应于场景改变时或当图像是模糊时，图24中说明的装置1402的第二电力域可保持减活，进而节约装置1402的资源。
参看图25，揭示可操作以识别图像的背景的系统的特定说明性实施例且一般标示为2500。系统2500可耦合到图24的系统2400。可由以下各者执行系统2500的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2500的组件可以与图22的系统2200的对应组件类似的方式操作。系统2500可包含图像传感器及滤波器2502。图像传感器及滤波器2502可为图像传感器(例如，图14的装置1402的图像传感器(例如图14的第一图像传感器1404、第N图像传感器1440或两者)中的一或多者)与滤波器(例如，图22的滤波器2222)的组合。
图像传感器及滤波器2502可产生原始图像数据2504。原始图像数据2504可对应于图14的第一感测数据1470。原始图像数据2504可包含低分辨率图像数据(例如，低分辨率原始图像数据2226)、高分辨率图像数据(例如，高分辨率原始图像数据2220)或两者。在特定实施例中，图3的第一处理装置304及相机302可对应于图像传感器及滤波器2502，且原始图像数据2504可对应于由图3的第一处理装置304提供给统计处理装置108的第一图像统计。
在特定实施例中，图像传感器及滤波器2502可响应于第一图像俘获请求1472指示将俘获高分辨率图像数据而产生高分辨率原始图像数据2220。例如，多媒体内容分类器1412可指示第一图像俘获请求1472中的所请求分辨率。在特定实施例中，图像传感器及滤波器2502可使用装置1402的图像传感器中的一或多者(例如，第一图像传感器1404或第N图像传感器1440)俘获低分辨率原始图像数据2226，且可使用装置1402的图像传感器中的另一者(例如，第一图像传感器1404及第N图像传感器1440中的另一者或另一图像传感器)俘获高分辨率原始图像数据2220。
图像数据2240可对应于原始图像数据2504。例如，图像数据2240可包含低分辨率原始图像数据2226、高分辨率原始图像数据2220或两者。
存储器1408可输出原始图像数据2504，如参看图26进一步描述。存储器308可将原始图像数据2504输出到场景改变检测器1460。在特定实施例中，存储器1408可将原始图像数据2504输出到本地存储装置2228。场景改变检测器1460可在2226处确定原始图像数据2504是否指示场景改变，如参看图14进一步描述。
响应于场景改变检测器1460确定原始图像数据2504指示场景改变，系统2500可执行如参看图26进一步描述的操作。
因此，图像传感器及滤波器2502可产生具有各种分辨率的图像数据。仅产生低分辨率图像数据可节约装置1402的资源，而产生高分辨率图像数据可提高与从图像数据产生的背景数据相关联的置信水平。
参看图26，揭示可操作以识别图像的背景的系统的特定说明性实施例的图且一般标示为2600。系统2600可耦合到图24的系统2400、图25的系统2500或两者。可由以下各者执行系统2600的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2600的组件可以与图23的系统2300的对应组件类似的方式操作。模糊图像检测器1462可从存储器1408接收原始图像数据(例如，原始图像数据2504)，如参看图25进一步描述。例如，模糊图像检测器1462可从存储器1408接收原始图像数据2504。
响应于模糊图像检测器1462在2308处确定原始图像数据2504指示图像不模糊，系统2500可执行如参看图24进一步描述的操作。
因此，当图像不对应于场景改变时，装置1402的第一电力域可保持减活，从而节约装置1402的资源。此外，可通过模糊图像检测器1462分析图像数据以确定是否继续分析(例如，提取、群集或分类)图像数据。
参看图27，揭示可操作以识别图像的背景的系统的特定说明性实施例的图且一般标示为2700。系统2700可耦合到图24的系统2400、图26的系统2600或两者。可由以下各者执行系统2700的一或多个操作：图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图4的改变检测电路414、应用处理器418、图5的选择电路506、信号分析器512、改变检测电路514、应用处理器518、图7的预处理电路604、一或多个额外处理器622、第二应用处理器706、第M应用处理器708、图8的激活分析器814、减活分析器816、物体检测器850、物体识别符852、活动分类器854、系统控制器806、图9的VFE-Lite 904、LPCVSS 906、LPASS 908、AP SS 910、一或多个其它处理器912、图13的背景确定引擎1380、图14的装置1402，或其组合。
系统2700的组件可以与图25的系统2500的对应组件类似的方式操作。系统2700可包含图像传感器、滤波器及场景改变检测器2702。图像传感器、滤波器及场景改变检测器2702可为图像传感器(例如，图14的装置1402的一或多个图像传感器，例如第一图像传感器1404、第N图像传感器1440或两者)、场景改变检测器(例如，图14的场景改变检测器1460)与滤波器(例如，图22的滤波器2222)的组合。
在特定实施例中，图3的相机302、第一处理装置304及图1的统计处理装置108可对应于图像传感器、滤波器及场景改变检测器2702。统计处理装置108可将场景改变通知2704及原始图像数据2504提供给图3的第二处理装置310。图像传感器、滤波器及场景改变检测器2702可产生原始图像数据2504。图像传感器、滤波器及场景改变检测器2702还可产生场景改变通知2704。图像传感器、滤波器及场景改变检测器2702可响应于确定图像对应于场景改变而产生场景改变通知2704，如参看图14进一步描述。图像传感器、滤波器及场景改变检测器2702可输出场景改变通知2704。例如，系统2700可响应于场景改变通知2704而执行如参看图26进一步描述的操作。
参看图28，展示说明与提取测试图像的特征的各种子集相关联的执行时间的实例的条形图且一般标示为2800。在特定实施例中，可通过图14的特征提取器1414提取特征的各种子集。
条形图2800说明与从与多个测试图像(例如，测试图像1-4)中的每一者相关联的感测数据提取特征的各种子集相关联的执行时间。例如，每一测试图像可具有1080渐进扫描(1080p)分辨率。特征的第一子集包含测试特征1、测试特征2及测试特征3。特征的第二子集包含特征的第一子集及测试特征4。特征的第三子集包含特征的第二子集及测试特征5。特征的第四子集包含特征的第三子集及测试特征6。在特定实施例中，测试特征1可对应于色彩布局描述符，测试特征2可对应于同构纹理描述符，测试特征3可对应于边缘直方图描述符，测试特征4可对应于色彩结构描述符，测试特征5可对应于可缩放色彩描述符，且测试特征6可对应于主要色彩描述符。
条形图2800包含对应于与从测试图像1的感测数据提取特征的第一子集相关联的数百毫秒的执行时间的条2802。条形图2800包含对应于与从测试图像2的感测数据提取特征的第一子集相关联的大约一秒的执行时间的条2812。条形图2800包含对应于与从测试图像3的感测数据提取特征的第一子集相关联的大约一秒的执行时间的条2822。条形图2800包含对应于与从测试图像4的感测数据提取特征的第一子集相关联的大约一秒的执行时间的条2832。
条形图2800包含对应于从测试图像1的感测数据提取特征的第二子集的执行时间的条2804且大约是从测试图像1的感测数据提取特征的第一子集的执行时间的两倍。条形图2800包含对应于与从测试图像2的感测数据提取特征的第二子集相关联的大约2秒的执行时间的条2814。条形图2800包含对应于与从测试图像3的感测数据提取特征的第二子集相关联的大约2秒的执行时间的条2824。条形图2800包含对应于与从测试图像4的感测数据提取特征的第二子集相关联的大约2秒的执行时间的条2834。
条形图2800包含对应于与从测试图像1的感测数据提取特征的第三子集相关联的半秒的执行时间的条2806。条形图2800包含对应于与从测试图像2的感测数据提取特征的第三子集相关联的大约3秒的执行时间的条2816。条形图2800包含对应于与从测试图像3的感测数据提取特征的第三子集相关联的大约3秒的执行时间的条2826。条形图2800包含对应于与从测试图像4的感测数据提取特征的第三子集相关联的大约3秒的执行时间的条2836。
条形图2800包含对应于与从测试图像1的感测数据提取特征的第四子集相关联的大约3秒的执行时间的条2808。条形图2800包含对应于与从测试图像2的感测数据提取特征的第四子集相关联的大约36秒的执行时间的条2818。条形图2800包含对应于与从测试图像3的感测数据提取特征的第四子集相关联的大约33秒的执行时间的条2828。条形图2800包含对应于与从测试图像4的感测数据提取特征的第四子集相关联的大约38秒的执行时间的条2838。
因此，与提取特征的子集相关联的执行时间基于包含在子集中的描述符而变化。特定来说，从测试图像2-4的感测数据提取测试特征6花费大约30秒。因此，基于置信水平而递增地提取特征的子集可节约装置1402的资源，因为可能不提取每一图像的特征的一些子集。
参看图29，展示说明与提取图28的测试图像的特征的各种子集相关联的存储器使用的实例的条形图且一般标示为2900。在特定实施例中，可通过图14的特征集合提取器1414提取特征的各种子集。
条形图2900包含指示与提取特征的第一子集相关联的大约100千字节的存储器使用的条2902、指示与提取特征的第二子集相关联的大约140千字节的存储器使用的条2904、指示与提取特征的第三子集相关联的大约200千字节的存储器使用的条2906，及指示与提取特征的第四子集相关联的大约280千字节的存储器使用的条2908。在特定实施例中，所述存储器使用可指示由特征集合提取器1414使用的存储器量308。
因此，与提取特征的子集相关联的存储器使用基于包含在所述子集中的描述符而变化。特定来说，从感测数据提取测试特征4、测试特征5及测试特征6使存储器使用增加大约180千字节。因此，基于置信水平而递增地提取特征的子集可节约装置1402的资源，因为可能不提取每一图像的特征的一些子集。
参看图30，展示基于图像统计而减少与相关联计算机视觉应用的电力使用的方法3000的特定实施例的流程图。在说明性实施例中，可使用关于图1到29描述的系统、装置及技术中的至少一者来执行方法3000。
方法3000包含在3002处产生图像数据的第一帧的第一图像统计。例如，在图3中，相机302可在第一时间俘获图1的第一帧102且第一处理装置304可产生第一帧102的第一图像统计。第一处理装置304可将第一图像统计提供给存储器306。
在3004处，可产生图像数据的第二帧的第二图像统计。例如，在图3中，在俘获第一帧102之后，相机302可在第二时间俘获图1的第二帧104，且第一处理装置304可产生第二帧104的第二图像统计。第一处理装置304可将第二图像统计提供给存储器306。另外，第一处理装置304可将第二帧104及第二图像统计提供给统计处理装置108。
在3006处，可确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值。例如，在图3中，统计处理装置108可将第二图像统计与第一图像统计进行比较以确定是否将第二帧104提供给第二处理装置310以用于对第二帧104进行应用专有处理。例如，统计处理装置108可确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值。
可响应于在3008处确定第一改变量满足阈值而对第二帧执行应用专有处理。例如，在图3中，如果改变量满足阈值，那么统计处理装置108可将第二帧104提供给第二处理装置310以用于对第二帧104进行应用专有处理。
在特定实施例中，方法3000可包含响应于确定第一改变量不满足阈值而绕过或放弃对第二帧的应用专有处理。例如，在图3中，如果改变量不满足阈值，那么统计处理装置108可确定节约电力且绕过对第二帧104的应用专有处理。
在特定实施例中，方法3000可包含在绕过对第二帧的应用专有处理之后产生图像数据的第三帧的第三图像统计。例如，在图3中，在俘获第二帧104之后，相机302可在第三时间俘获第三帧106，且第一处理装置304可产生第三帧106的第三图像统计。第一处理装置304可将第三图像统计提供给存储器306。在此实例中，方法3000可包含确定第三图像统计与第二图像统计之间的第二改变量是否满足阈值。例如，在图3中，如果统计处理装置108确定绕过或放弃对第二帧104的应用专有处理，那么统计处理装置108可将第二图像统计与第二图像统计(或第一图像统计)进行比较以确定是否对第三帧106执行应用专有处理。
在特定实施例中，方法3000可包含响应于确定第二改变量满足阈值而对第三帧执行应用专有处理。例如，在图3中，如果第二改变量满足阈值，那么统计处理装置108可将第三帧106提供给第二处理装置310以用于对第三帧106进行应用专有处理。
绕过或放弃对具有与先前帧类似的图像统计的特定帧的应用专有处理可节约电子装置中的电力。例如，应用专有处理可利用处理系统内的高功率装置，例如通用处理器或图形处理器。通过使用低功率装置(例如，数字信号处理器、专用集成电路等)(例如统计处理装置108及第一处理装置304)以产生及/或评估每一帧的统计，可确定特定帧实质上相同且仅需要对相同帧中的一者执行应用专有处理。因此，可通过放弃对相同或类似帧的应用专有处理而节约电力。
参看图31，展示识别图像的背景的方法的特定说明性实施例的流程图且一般标示为3100。可使用关于图1到29描述的系统、装置及技术中的至少一者来执行方法3100。
方法3100可包含在3102处在移动装置处从图像传感器接收感测数据。感测数据可与图像相关。例如，图14的装置1402可从第一图像传感器1404接收感测数据(例如，第一感测数据1470)。第一感测数据1470可与图1的第二帧104相关。
方法1300还可包含在1304处基于感测数据而产生图像的第一图像统计。当第一图像统计与第二图像的第二图像统计之间的改变量满足改变阈值时，可满足提取准则。例如，图1的统计处理装置108可产生对应于第二帧104的第一图像统计且可产生对应于第一帧102的第二图像统计，如参看图1所描述。当第一图像统计与第二图像统计之间的改变量满足改变阈值时可满足提取准则，如参看图14进一步描述。
方法3100可进一步包含在3106处基于满足提取准则而从感测数据提取图像的特征的第一子集。例如，图14的特征集合提取器1414可基于满足提取准则而从第一感测数据1470提取特征的第一子集(例如，图14的特征的子集1442中的第一者)，如参看图14进一步描述。
可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、例如中央处理单元(CPU)等处理单元、数字信号处理器(DSP)、控制器、另一硬件装置、固件装置，或其任何组合来实施图31的方法3100。作为一实例，可通过执行指令的处理器执行图31的方法3100。
因此，方法3100可实现图像背景识别。基于提取准则提取特征的子集可防止在某些情形中提取图像的特征，进而节约装置1402的资源。
参看图32，展示识别图像的背景的方法的特定说明性实施例的流程图且一般标示为3200。可使用关于图1到29描述的系统、装置及技术中的至少一者来执行方法3200。在特定实施例中，方法3200可从图31的3106进行。
方法3200可包含在3202处基于第一时戳在第二时戳的阈值持续时间内而产生特征的第一群集子集。所述第一时戳与图像(例如，图1的第二帧104)相关联。所述第二时戳与第二图像相关联。特征的第一群集子集包含第二图像的特征的第一子集、特征的第二子集，或两者。例如，图14的特征集合群集器1416可基于第一时戳(例如，时戳1494中的第一者)在第二时戳(例如，时戳1494中的第二者)的阈值图像俘获持续时间(例如，阈值持续时间1480)内而产生特征的第一群集子集(例如，图14的特征的群集子集1476)，如参看图14进一步描述。
方法3200还可包含在3204处通过基于第一分类模型对特征的第一群集子集进行分类而产生特征的分类子集。例如，图14的特征集合分类器1418可通过基于第一分类模型(例如，分类模型1428中的第一者)对特征的第一群集子集进行分类而产生特征的分类子集(例如，特征的分类子集1474)，如参看图14进一步描述。
方法3200可进一步包含在3206处基于确定中间背景数据的置信水平不满足阈值置信水平而确定与提取特征的第一子集相关联的置信水平不满足阈值置信水平。所述中间背景数据可对应于特征的第一子集、特征的第一群集子集或特征的分类子集。例如，多媒体内容分类器1412可基于确定中间背景数据1492的置信水平不满足阈值置信水平1482而确定与提取特征的第一子集相关联的置信水平不满足阈值置信水平1482，如参看图14进一步描述。
方法3200还可包含在3208处基于特征的第一子集满足分析准则而从感测数据提取图像的特征的第二子集。所述分析准则是基于与提取特征的第一子集相关联的置信水平。例如，图14的特征集合提取器1414可基于特征的第一子集满足分析准则而从第一感测数据1470提取特征的第二子集(例如，特征的子集1442中的第二者)，如参看图14进一步描述。所述分析准则可基于与提取特征的第一子集相关联的置信水平，如参看图14进一步描述。
方法3200可进一步包含在3210处通过基于第一时戳及第二时戳将特征的第二子集群集而产生特征的第二群集子集。例如，图14的特征集合群集器1416可通过基于第一时戳及第二时戳将特征的第二子集群集而产生特征的第二群集子集(例如，特征的群集子集1476中的第二者)，如参看图14进一步描述。
方法3200还可包含在3212处至少部分基于特征的第二子集而产生指示图像的背景的背景数据。可通过基于第二分类模型对特征的第一群集子集、特征的第二群集子集或两者进行分类而产生背景数据。例如，多媒体内容分类器1412可至少部分基于特征的第二子集而产生指示图像的背景的背景数据1490，如参看图14进一步描述。
可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、例如中央处理单元(CPU)等处理单元、数字信号处理器(DSP)、控制器、另一硬件装置、固件装置，或其任何组合来实施图32的方法3200。作为一实例，可通过执行指令的处理器执行图32的方法3200。
因此，方法3200可实现图像背景识别。基于相关联的置信水平而分析(例如，提取、群集及分类)特征的子集可导致提取图像的少于全部特征，进而节约装置1402的资源。
参看图33，展示识别图像的背景的方法的特定实施例的流程图且一般标示为3300。可使用关于图1到29描述的系统、装置及技术中的至少一者来执行方法3300。
方法3300可包含在3302处在移动装置处从图像传感器接收感测数据。所述感测数据与图像相关。例如，图14的装置1402可从第一图像传感器1404接收感测数据(例如，第一感测数据1470)。第一感测数据1470可与图1的第二帧104相关。
方法3300还可包含基于感测数据而产生图像的第一图像统计。提取准则至少部分基于所述第一图像统计。基于包含活动辨识、人员辨识、物体辨识、位置辨识或手势辨识中的至少一者的应用专有处理而产生所述第一图像统计。例如，图3的统计处理装置108可基于第一感测数据1470而产生第二帧104的第一图像统计且提取准则可至少部分基于所述第一图像统计，如参看图14所描述。可基于包含活动辨识、人员辨识、物体辨识、位置辨识或手势辨识中的至少一者的应用专有处理而产生所述第一图像统计，如参看图14所描述。
方法3300可进一步包含在3306处基于满足提取准则而从感测数据提取特征的第一子集。可基于选择准则而选择特征的第一子集。例如，图14的特征集合提取器1414可基于满足提取准则而从第一感测数据1470提取特征的第一子集(例如，图14的特征的子集1442)，如参看图14所描述。特征集合提取器1414可基于选择准则(例如，图14的选择准则1438)而选择特征的第一子集，如参看图14进一步描述。
方法3300可进一步包含在3308处响应于确定感测数据指示场景改变而激活第一电力域。例如，图14的多媒体内容分类器1412可响应于确定第一感测数据1470指示场景改变而激活装置1402的第一电力域，如参看图23进一步描述。
方法3300还可包含在3310处响应于确定感测数据指示图像的锐度满足阈值锐度水平而激活第二电力域。例如，图14的多媒体内容分类器1412可响应于确定第一感测数据1470指示图像的锐度满足阈值锐度水平而激活装置1402的第二电力域，如参看图24进一步描述。
方法3300可进一步包含在3312处至少部分基于特征的第一子集而产生指示图像的背景的背景数据。例如，图14的多媒体内容分类器1412可至少部分基于特征的第一子集而产生指示图像的背景的背景数据1490，如参看图14进一步描述。
可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、例如中央处理单元(CPU)等处理单元、数字信号处理器(DSP)、控制器、另一硬件装置、固件装置，或其任何组合来实施图33的方法3300。作为一实例，可通过执行指令的处理器执行图33的方法3300。
因此，方法3300可实现图像背景识别。响应于确定图像对应于场景改变、图像不模糊或两者而分析图像的特征的子集可导致对图像的选择性分析，进而节约装置1402的资源。此外，选择性地激活装置1402的第一电力域、第二电力域或两者还可节约装置1402的资源。
参看图34，展示识别图像的背景的方法的特定说明性实施例的流程图且一般标示为3400。
方法3400可包含在3402处在移动装置处从第一图像传感器接收第一感测数据。第一感测数据可与第一图像相关。例如，图14的装置1402可从第一图像传感器1404接收感测数据(例如，第一感测数据1470)。第一感测数据1470可与图1的第一帧102相关。
方法3400还可包含在3404处基于感测数据而产生第一图像的第一图像统计。所述第一图像统计是基于应用专有处理而产生。例如，统计处理装置108可基于第一感测数据1470而产生图1的第一帧102的第一图像统计，如参看图14所描述。所述第一图像统计可基于应用专有处理而产生，如参看图14所描述。
方法3400可进一步包含在3406处从第一感测数据提取第一图像的特征的第一子集。例如，图14的特征集合提取器1414可从第一感测数据1470提取特征的第一子集(例如，图14的特征的子集1442中的第一者)。
方法3400还可包含在3408处基于特征的第一子集满足分析准则而向第二图像传感器请求第二感测数据。例如，图14的多媒体内容分类器1412可响应于确定与提取特征的第一子集相关联的置信水平不满足阈值置信水平1482而将第二图像俘获请求(例如，第二图像俘获请求1426)发送到第N图像传感器1440，如参看图14进一步描述。
方法3400可进一步包含在3410处从第二图像传感器接收第二感测数据。所述第二感测数据可与第二图像相关。例如，图14的多媒体内容分类器1412可从第N图像传感器1440接收第二感测数据(例如，第二感测数据1424)。第二感测数据1424可与图1的第二帧104相关。
方法3400还可包含在3412处基于第二感测数据而产生第二图像的第二图像统计。基于应用专有处理而产生所述第二图像统计。例如，统计处理装置108可基于第二感测数据1424而产生图1的第二帧104的第二图像统计，如参看图14所描述。可基于应用专有处理而产生所述第二图像统计，如参看图14所描述。
方法3400可进一步包含在3414处从第二感测数据提取第二图像的特征的第二子集。基于第一图像统计与第二图像统计之间的改变量满足改变阈值而提取特征的第二子集。例如，特征集合提取器1414可基于第一图像统计与第二图像统计之间的改变量满足改变阈值而从第二感测数据1424提取特征的第二子集(例如，特征的子集1442中的第二者)，如参看图14进一步描述。
方法3400还可包含在3416处通过将特征的第一子集、特征的第二子集或两者群集而产生特征的群集子集。例如，特征集合群集器1416可通过将特征的第一子集、特征的第二子集或两者群集而产生特征的群集子集(例如，特征的群集子集1476)，如参看图14进一步描述。
方法3400可进一步包含在3418处至少部分基于特征的第二子集而产生指示第一图像的背景的背景数据。可通过基于分类模型对特征的群集子集进行分类而产生所述背景数据。例如，图14的多媒体内容分类器1412可至少部分基于特征的第二子集而产生背景数据1490，如参看图14进一步描述。
可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、例如中央处理单元(CPU)等处理单元、数字信号处理器(DSP)、控制器、另一硬件装置、固件装置，或其任何组合来实施图34的方法3400。作为一实例，可通过执行指令的处理器执行图34的方法3400。
因此，方法3400可实现图像背景识别。当与来自单一图像传感器的感测数据相关联的置信水平不满足阈值置信水平时，多媒体内容分类器1412可基于分析来自多个图像传感器的感测数据而识别图像的背景。分析来自单一图像传感器的感测数据可节约装置1402的资源，同时分析来自多个图像传感器的感测数据可增加与分析的结果相关联的置信水平。当在先前图像与后续图像之间检测到改变时，可分析来自后续图像的感测数据。当不存在与先前图像的足够改变(例如，大于改变阈值)时，可通过不分析后续图像而节约装置1402的资源。
参看图35，展示减少与相关联计算机视觉应用的电力使用的方法3500的特定说明性实施例。可使用关于图1到29描述的系统、装置及技术中的至少一者来执行方法3500。
方法3500可包含在3502处在改变检测电路处基于由传感器俘获的第一传感器数据与由传感器俘获的第二传感器数据之间的改变量而产生控制信号。例如，参看图4，改变检测电路414可基于由传感器402俘获的第一传感器数据430与由传感器402俘获的第二传感器数据430之间的改变量而产生控制信号。改变检测电路414可包含在第一处理路径408中。
在3504处，可基于所述控制信号而将第二传感器数据提供给第二处理路径以进行计算机视觉应用专有处理。例如，参看图4，改变检测电路414可基于所述控制信号指示第一传感器数据430与第二传感器数据430之间的差异而将第二传感器数据430提供给第二处理路径410的应用处理器418以进行计算机视觉应用专有处理。在替代实施例中(例如，图5到6)，控制信号可为提供给选择电路(例如，多路复用器)的反馈信号且可经由选择电路将第二传感器数据提供给应用处理器(例如，应用处理器518)。
方法3500可通过绕过对类似于先前帧的特定帧的计算机视觉应用专有处理而减少电力消耗。例如，改变检测电路414可基于当前帧与先前帧之间的比较而指示(经由控制信号416)是否激活(例如，唤醒)应用处理器418。如果改变检测电路414确定当前帧与先前帧之间的差异不满足阈值(例如，改变阈值)，那么改变检测电路414可确定减活应用处理器418(例如，使应用处理器418保持在休眠状态中)以节约电力。
参看图36，描绘移动装置的说明性实施例的图且一般标示为3600。移动装置3600可包含永启相机及/或与其通信地耦合。在特定实施例中，移动装置3600可对应于图12的移动装置1200中的一或多者。在说明性实施例中，移动装置3600可根据图30到35的方法3000到3500或其任何组合而操作。
应注意，图16将提供各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。此外，图36中展示的移动装置3600的硬件和/或软件组件可经配置以实施图13中说明的组件中的一或多者，例如背景确定引擎1380、传感器及其它组件。
图36中展示的组件可集中于单一移动装置及/或分布在可安置于不同物理位置处的各种连网装置中。例如，一些实施例可包含在用户的身体上或附近的各种位置处的分布式相机3643及/或其它传感器3649。HMD(佩戴在用户的头上)的永启相机例如可与用户的口袋中的移动电话通信地耦合，且图36中展示的组件可以多种方式中的任一者分布在HMD及移动电话中，其取决于所要的功能性。
移动装置3600展示为包含可经由总线3605电耦合(或可另外在适当时进行通信)的硬件元件。所述硬件元件可包含处理单元3610，其可包含(不限于)一或多个通用处理器、一或多个专用处理器(例如数字信号处理器(DSP)、图形加速处理器、专用集成电路(ASIC)和/或类似物)，及/或可经配置以执行本文中所描述的方法中的一或多者的其它处理结构或装置，所述方法包含图30到35的方法3000到3500。移动装置3600还可包含一或多个输入装置3670(例如，触摸屏、触摸垫、按钮、拨号盘、开关和/或类似物)及一或多个输出装置3615，其可包含(不限于)显示器、发光二极管(LED)、扬声器，和/或类似物。
移动装置3600还可包含无线通信接口3630，其可包含(不限于)调制解调器、网卡、红外通信装置、无线通信装置及/或芯片组(例如(蓝牙SIG公司的注册商标)装置、IEEE 802.11装置、IEEE 802.15.4装置、WiFi装置、WiMax装置、蜂窝式通信设施等)，和/或类似物。在一些实施例中，还可使用各种无线通信网络实施去往及来自移动装置3600的通信。这些网络可包含例如广域无线网络(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)，及类似者。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、WiMax(IEEE 802.16)网络等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等。Cdma2000包含IS-95、IS-2000及/或IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。OFDMA网络可实施长期演进(LTE)、LTE高级等。LTE、LTE高级、GSM及W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的联盟的文献中。来自名为“第三代合作伙伴计划2”(3GPP2)的联盟的文献中描述了Cdma2000。3GPP和3GPP2文献可公开获得。WLAN还可为IEEE 802.11x网络，且WPAN可为(蓝牙SIG公司的注册商标)网络、IEEE 802.15x或某一其它类型的网络。本文所描述的技术还可用于WWAN、WLAN和/或WPAN的任何组合。无线通信接口3630可准许直接与其它传感器、系统及/或本文中描述的任何其它电子装置交换数据。可经由发送和/或接收无线信号3634的一或多个无线通信天线3632进行通信。
无线通信接口3630还可用于确定移动装置3600的位置。例如，接入点(包含基站及/或用于无线话音及/或数据通信的其它系统)可例如通过例如基于往返时间(RTT)及/或接收信号强度指示(RSSI)测量值实施基于三边测量的程序而充当位置数据的独立源。接入点可为在建筑物中操作以在比WWAN更小的地理区域上执行通信的WLAN的部分。此外，接入点可为WiFi网络(802.1lx)、蜂窝式微微网及/或毫微微小区、(蓝牙SIG公司的注册商标)网络及类似者的部分。接入点还可形成高通室内定位系统(QUIPSTM)的部分。
移动装置3600可进一步包含传感器3640。如本文中指示，可对应于图2中描述的传感器的传感器3640可包含可从其确定移动装置3600的定向及/或运动的传感器，例如一或多个加速度计3641、陀螺仪3642、磁力计3644，及类似者。移动装置3600可进一步包含其它传感器1640，例如麦克风1665、光传感器1646、接近传感器及其它传感器，如参看图13所描述。相机3643可包含具有不同特征(RGB、红外、广角、鱼眼、高分辨率等)的任何数目的不同相机，其中的任一者或全部可用作如本文中所描述的永启相机。
移动装置3600的实施例还可包含能够使用SPS天线3682从一或多个SPS接收信号3684的卫星定位系统(SPS)接收器3680。SPS接收器3680可对应于图13的卫星定位接收器1350，其可提供关于移动装置3600的位置信息(例如，坐标)以及从其导出的信息(速度、加速度等)。所传输的卫星信号3684可包含例如使用设定数目的码片的重复伪随机噪声(PN)码标记的信号且可位于基于地面的控制站、用户设备及/或航天器上。卫星定位系统可包含例如以下系统：全球定位系统(GPS)、伽利略(Galileo)、格洛纳斯(Glonass)、指南针、日本上方的准天顶卫星系统(QZSS)、印度上方的印度区域导航卫星系统(IRNSS)、中国上方的北斗等，和/或可与一或多个全球和/或区域性导航卫星系统相关联或另外经启用以与所述系统一起使用的各种增强系统(例如，基于卫星的增强系统(SBAS))。举例来说但非限制，SBAS可包含提供完整性信息、差分校正等的增强系统，例如，广域增强系统(WAAS)、欧洲地球同步导航重叠服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助式地理增强导航或GPS和地理增强导航系统(GAGAN)，和/或类似物。
移动装置3600可进一步包含(及/或与之通信)存储器3660。存储器3660可包含但不限于可为可编程、可快闪更新的本地及/或网络可存取的存储装置、磁盘驱动器、驱动阵列、光学存储装置、固态存储装置，例如随机存取存储器(“RAM”)及/或只读存储器(“ROM”)，和/或类似物。此类存储装置可经配置以实施任何适当的数据存储装置，包含不限于各种文件系统、数据库结构和/或类似物。
移动装置3600的存储器3660还可包含软件元件(未图示)，包含操作系统、装置驱动器、可执行库及/或其它代码，例如一或多个应用程序，其可包括由各种实施例提供的计算机程序及/或可经设计以实施由其它实施例提供的方法及/或配置由其它实施例提供的系统，如本文中所描述。仅举例来说，关于图30到35的方法描述的一或多个程序可实施为可由移动装置3600(和/或移动装置3600内的处理单元)(及/或定位系统的另一装置)执行的代码和/或指令。在一方面中，可使用此类代码和/或指令来配置和/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。
参看图37，展示包含可操作以减少与相关联计算机视觉应用的电力使用的组件的无线装置3700的框图。装置3700包含可操作以减少与相关联计算机视觉应用的电力使用的处理器3710(例如，改变检测电路414及应用处理器418)。处理器3710耦合到存储器3732。在特定实施例中，处理器3710可包含图3的处理系统300、图4的处理系统400、图5的处理系统500、图6的处理系统600、图8的处理系统800或其任何组合。
图37还展示耦合到处理器3710及显示器3728的显示控制器3726。相机控制器3790可耦合到处理器3710及传感器402。传感器402可经配置以俘获包含图像帧(例如，图1的图像102到106)的视频流。译码器/解码器(CODEC)3734也可耦合到处理器3710。扬声器3736及麦克风3738可耦合到CODEC 3734。图37还指示无线控制器3740可耦合到处理器3710且经由射频(RF)接口3780耦合到无线天线3742。
存储器3732可为包含可执行指令3756的有形的非暂时性处理器可读存储媒体。指令3756可由例如处理器3710等处理器或处理器3710内的装置(例如，第一处理装置304、统计产生器304及/或第二处理装置310)执行以执行图30到35的方法3000到3500中的任一者。
在特定实施例中，处理器3710、显示器控制器3726、存储器3732、CODEC 3734及无线控制器3740包含在系统级封装或系统芯片装置3722中。在特定实施例中，输入装置3730和电力供应器3744耦合到系统芯片装置3722。此外，在特定实施例中，如图37中所说明，显示装置3728、输入装置3730、相机302、扬声器3736、麦克风3738、无线天线3742和电力供应器3744在系统芯片装置3722的外部。然而，显示装置3728、输入装置3730、相机302、扬声器3736、麦克风3738、无线天线3742和电力供应器3744中的每一者可耦合到系统芯片装置3722的组件，例如，接口或控制器。
结合所描述的实施例，揭示包含用于产生图像数据的第一帧的第一图像统计及图像数据的第二帧的第二图像统计的装置的设备。例如，所述用于产生图像统计的装置可包含图3的第一处理装置304、经编程以执行图37的指令3756的处理器3710、用以产生图像统计的一或多个其它装置、电路、模块或指令，或其任何组合。
所述设备还可包含用于确定第二图像统计与第一图像统计之间的改变量是否满足阈值的装置。例如，所述用于确定的装置可包含图3的统计处理装置108、经编程以执行图37的指令3756的处理器3710、用以确定第二图像统计与第一图像统计之间的第一改变量是否满足阈值的一或多个其它装置、电路、模块或指令，或其任何组合。
所述设备还可包含用于响应于确定改变量满足阈值而对第二帧执行应用专有处理的装置。例如，所述用于执行应用专有处理的装置可包含图3的第二处理装置310、经编程以执行图37的指令3756的处理器3710、用以执行应用专有处理的一或多个其它装置、电路、模块或指令，或其任何组合。
结合所描述的实施例，揭示包含用于基于由传感器俘获的第一传感器数据与由传感器俘获的第二传感器数据之间的改变量而产生控制信号的装置的设备。所述用于产生控制信号的装置可包含图1到3的统计处理装置108、图4的改变检测电路414、图5到6的改变检测电路514、图8的激活分析器814、图8的激活分析器816、用以产生控制信号的一或多个其它装置、电路、模块或指令，或其任何组合。
所述设备还可包含用于基于控制信号对所述第二传感器数据执行计算机视觉应用专有处理的装置。所述用于执行计算机视觉应用专有处理的装置可包含图3的第二处理装置310、图4的第二处理路径410中的组件、图5的第二处理路径510中的组件、图6的第二处理路径610中的组件、图8的第二处理路径810中的组件、用以对所述第二传感器数据执行计算机视觉应用专有处理的一或多个其它装置、电路、模块或指令，或其任何组合。
参看图38，描绘移动装置的特定说明性实施例的框图且一般标示为3800。在各种实施例中，装置3800可具有比图38中说明的组件更多或更少的组件。装置3800可包含、被包含在图3的装置302中或对应于所述装置。在说明性实施例中，装置3800可根据图30到34的方法或其任何组合而操作。
在特定实施例中，装置3800包含处理器3810(例如，中央处理单元(CPU)或数字信号处理器(DSP))，其耦合到图14的存储器1408、译码器/解码器(CODEC)3834且经由无线控制器3840耦合到无线天线3842。处理器3810还可经由显示控制器3826耦合到图14的显示器1406。扬声器3836及麦克风3838可耦合到CODEC 3834。装置3800可耦合到图14的装置1402的一或多个图像传感器。例如，装置3800可耦合到第一图像传感器1404、图14的第N图像传感器1440或两者。装置3800可耦合到一或多个其它传感器3846。例如，一或多个其它传感器3846可包含微机电系统(MEMS)传感器、光学传感器、磁传感器，或其任何组合。装置3800可包含图14的多媒体内容分类器1412。在特定实施例中，处理器3810可对应于图14的处理器1410。在特定实施例中，处理器3810可包含图14的多媒体内容分类器1412。
多媒体内容分类器1412可用于实施本文中描述的图像背景识别技术的硬件实施例。或者或另外，可实施软件实施例(或组合软件/硬件实施例)。例如，存储器1408可包含指令3856。指令3856可对应于多媒体内容分类器1412。指令3856可为可由处理器3810或装置3800的另一处理单元执行的。例如，存储器1408可为非暂时性计算机可读媒体或存储指令3856的装置，所述指令可由处理器3810执行以通过接收感测数据而识别图像的背景、提取特征的第一子集、确定与特征的第一子集相关联的置信水平不满足阈值置信水平、响应于所述确定而提取特征的第二子集，且至少部分基于特征的第二子集而产生指示图像的背景的背景数据。
在特定实施例中，处理器3810、显示控制器3826、存储器1408、CODEC 3834及无线控制器3840包含在系统级封装或系统芯片3822中。在特定实施例中，输入装置3830及电力供应器3844耦合到系统芯片装置3822。此外，在特定实施例中，如图38中所说明，显示器1406、输入装置3830、扬声器3836、麦克风3838、第一图像传感器1404、第N图像传感器340、无线天线3842及电力供应器3844在系统芯片装置3822的外部。然而，显示器1406、输入装置3830、扬声器3836、麦克风3838、第一图像传感器1404、第N图像传感器1440、无线天线3842及电力供应器3844中的每一者可耦合到系统芯片装置3822的组件，例如接口或控制器。
结合所描述的实施例，揭示可包含用于从图像传感器接收感测数据的装置的系统，例如无线天线3842、图14的多媒体内容分类器1412、图3的第一处理装置304、经配置以接收感测数据的一或多个其它装置或电路，或其任何组合。所述感测数据可与图像相关。所述系统还可包含用于从感测数据提取特征的第一子集的装置，例如第一处理装置304、图3的第二处理装置310、图14的特征集合提取器1414、多媒体内容分类器1412、处理器1410、图38的处理器3810、经配置以提取特征的第一子集的一或多个其它装置或电路，或其任何组合。可基于选择准则而选择特征的第一子集。所述系统可进一步包含用于至少部分基于特征的第一子集而产生指示图像的背景的背景数据的装置，例如图3的第二处理装置310、图14的多媒体媒体内容分类器1412、处理器1410、图38的处理器3810、经配置以产生背景数据的一或多个其它装置或电路，或其任何组合。
所述系统还可包含用于基于感测数据确定是否满足提取准则的装置，例如图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图14的多媒体媒体内容分类器1412、提取器1414、图38的处理器3810、经配置以基于感测数据而确定是否满足提取准则的一或多个其它装置或电路，或其任何组合。可基于满足提取准则而提取特征的第一子集。
所述系统还可包含用于响应于确定感测数据指示场景改变而激活第一电力域的装置，例如图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图14的多媒体媒体内容分类器1412、提取器1414、图38的处理器3810、经配置以激活第一电力域的一或多个其它装置或电路，或其任何组合。
所述系统可进一步包含用于响应于确定感测数据指示图像的锐度满足阈值锐度水平而激活第二电力域的装置，例如图1的统计处理装置108、图3的第一处理装置304、第二处理装置310、图14的多媒体媒体内容分类器1412、提取器1414、图38的处理器3810、经配置以激活第二电力域的一或多个其它装置或电路，或其任何组合。
所属领域的技术人员将进一步了解，结合本文揭示的实施例描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由处理器执行的计算机软件，或两者的组合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路和步骤。此功能性是实施为硬件还是处理器可执行指令取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性，但此类实施决策不应被解释为会造成对本发明的范围的偏离。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件、由处理器执行的软件模块中或两者的组合中。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘、压缩光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到存储媒体。在替代方案中，存储媒体可以与处理器成一体式。处理器及存储媒体可以驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制造或使用所揭示的实施例。对这些实施例的各种修改将易于对所属领域的技术人员显而易见，并且可在不脱离本发明的范围的情况下将本文中定义的原理应用到其它实施例。因此，本发明无意限于本文中所展示的实施例，而是将赋予本发明与如由所附权利要求书界定的原理和新颖特征一致的可能的最广范围。

Claims (21)

1.一种用于计算机视觉应用处理的方法，其包括：
基于第一图像数据提供第一图像统计；
在移动装置处接收第二图像数据；
基于所述第二图像数据生成第二图像统计；
确定是否满足提取准则，其中所述提取准则是基于基于所述第一图像数据的所述第一图像统计与基于所述第二图像数据的所述第二图像统计之间的改变量；
当不满足所述提取准则时，不从所述第二图像数据提取特征的第一子集；或者当满足所述提取准则时，从所述第二图像数据中提取特征的所述第一子集，且至少部分地基于特征的所述第一子集生成指示所述第二图像数据的图像的背景的第一背景数据；其中相较于提取特征的所述第一子集而言，确定是否满足所述提取准则使用所述移动装置较少的资源；
确定所述第一背景数据的置信水平，其中所述第一背景数据的所述置信水平为所确定的所述第二图像数据的所述图像的所述背景与特征的所述第一子集之间的关联的置信度；
确定从特征的所述第一子集生成的所述第一背景数据的所述置信水平是否满足阈值置信水平；
当不满足所述阈值置信水平时，从所述第二图像数据提取特征的第二子集，以及至少部分地基于特征的所述第二子集生成指示所述第二图像数据的所述图像的背景的第二背景数据；或者当满足所述阈值置信水平时，不从所述第二图像数据提取特征的所述第二子集。
2.根据权利要求1所述的方法，其中当所述第二图像数据指示场景改变时满足所述提取准则。
3.根据权利要求1所述的方法，其中所述第二图像数据的所述图像的所述特征包含移动图片专家组MPEG-7视觉描述符、通用搜索树GIST描述符、普查变换直方图CENTRIST视觉描述符、词袋描述符、视觉上局部聚集描述符、空间金字塔匹配描述符，或其组合，且其中所述MPEG-7视觉描述符包含：可缩放色彩描述符SCD、色彩结构描述符CSD、帧群组GOF描述符、图片群组GOP描述符、主要色彩描述符DCD、色彩布局描述符CLD、纹理浏览描述符TBD、同构纹理描述符HTD、边缘直方图描述符EHD、基于轮廓的形状描述符、基于区的形状描述符、相机运动描述符CMD、运动轨迹描述符MTD、参数运动描述符PMD，或运动活动描述符MAD。
4.根据权利要求1所述的方法，其中所述图像的所述背景包含位置、人员、物体、活动、情绪、眼睛凝视、物理条件，或其任何组合。
5.根据权利要求1所述的方法，其中从所述第二图像数据提取特征的所述第一子集比提取特征的后续子集使用所述移动装置的更少资源，且其中所述移动装置的所述资源包含存储器、电力、处理器执行循环，或其任何组合。
6.根据权利要求1所述的方法，其中将所述第一背景数据或所述第二背景数据输出到应用，其中所述应用包含生活标注应用、宏观地理防御应用，微观地理防御应用、运动活动检测应用、文本检测应用、物体检测应用、手势检测应用，或其任何组合。
7.一种用于计算机视觉应用处理的设备，其包括：
处理器，其经配置以：
基于第一图像数据提供第一图像统计；
接收第二图像数据；
基于所述第二图像数据生成第二图像统计；
确定是否满足提取准则，其中所述提取准则是基于基于所述第一图像数据的所述第一图像统计与基于所述第二图像数据的所述第二图像统计之间的改变量；
当满足所述提取准则时，从所述第二图像数据中提取特征的第一子集，且至少部分地基于特征的所述第一子集生成指示所述第二图像数据的图像的背景的第一背景数据，以及当不满足所述提取准则时，不从所述第二图像数据提取特征的所述第一子集；其中相较于提取特征的所述第一子集而言，确定是否满足所述提取准则使用较少的资源；
确定所述第一背景数据的置信水平，其中所述第一背景数据的所述置信水平为所确定的所述第二图像数据的所述图像的所述背景与特征的所述第一子集之间的关联的置信度；
确定从特征的所述第一子集生成的所述第一背景数据的所述置信水平是否满足阈值置信水平；
当不满足所述阈值置信水平时，从所述第二图像数据提取特征的第二子集且至少部分地基于特征的所述第二子集生成指示所述第二图像数据的所述图像的背景的第二背景数据，以及当满足所述阈值置信水平时，不从所述第二图像数据提取特征的所述第二子集。
8.根据权利要求7所述的设备，其中所述第一图像统计是基于应用专有处理而产生，所述应用专有处理包含活动辨识、人员辨识、物体辨识、位置辨识或手势辨识中的至少一者。
9.根据权利要求7所述的设备，其中当所述第二图像数据指示场景改变时满足所述提取准则。
10.根据权利要求9所述的设备，其中所述处理器进一步经配置以基于确定所述第二图像数据指示所述图像的锐度满足阈值锐度水平而激活电源。
11.根据权利要求7所述的设备，其中所述提取准则包含资源预算、使用情况、关注区，或其任何组合，其中所述关注区包含所述图像的一部分，其中所述资源预算包含存储器预算、电力预算、每秒的指令的数目预算，或其任何组合，其中所述资源预算是基于用户偏好、资源可用性或两者，且其中所述使用情况包含活动辨识、人员辨识、物体辨识、位置辨识、手势辨识，或其任何组合。
12.根据权利要求7所述的设备，其中基于确定所述第二图像数据指示所述图像的锐度满足阈值锐度水平而提取特征的所述第一子集。
13.一种用于计算机视觉应用处理的设备，其包括：
用于基于第一图像数据提供第一图像统计的装置；
用于接收第二图像数据的装置；
用于基于所述第二图像数据生成第二图像统计的装置；
用于确定是否满足提取准则的装置，其中所述提取准则是基于基于所述第一图像数据的所述第一图像统计与基于所述第二图像数据的所述第二图像统计之间的改变量；
用于当满足所述提取准则时从所述第二图像数据中提取特征的第一子集，以及当不满足所述提取准则时不从所述第二图像数据提取特征的所述第一子集的装置；
用于至少部分地基于特征的所述第一子集生成指示所述第二图像数据的图像的背景的第一背景数据的装置；其中相较于提取特征的所述第一子集而言，确定是否满足所述提取准则使用较少的资源；
用于确定所述第一背景数据的置信水平的装置，其中所述第一背景数据的所述置信水平为所确定的所述第二图像数据的所述图像的所述背景与特征的所述第一子集之间的关联的置信度；
用于确定从特征的所述第一子集生成的所述第一背景数据的所述置信水平是否满足阈值置信水平的装置；
用于当不满足所述阈值置信水平时从所述第二图像数据提取特征的第二子集，以及当满足所述阈值置信水平时不从所述第二图像数据提取特征的所述第二子集的装置；
用于至少部分地基于特征的所述第二子集生成指示所述第二图像数据的所述图像的背景的第二背景数据的装置。
14.根据权利要求13所述的设备，其中当所述第二图像数据指示场景改变时满足所述提取准则；且所述设备进一步包括：
用于基于确定所述第二图像数据指示所述图像的锐度满足阈值锐度水平而激活电源的装置。
15.根据权利要求14所述的设备，其中所述用于接收所述第二图像数据的装置、所述用于提取特征的所述第一子集的装置、所述用于生成所述第一背景数据的装置、所述用于生成所述第二背景数据的装置、所述用于确定是否满足所述提取准则的装置及所述用于激活所述电源的装置被集成到以下各者中的一者中：移动通信装置、智能电话、蜂窝式电话、膝上型计算机、计算机、平板计算机、个人数字助理、显示装置、电视、游戏控制台、音乐播放器、无线电装置、数字视频播放器、数字视频光盘DVD播放器、调谐器、相机或导航装置。
16.一种包括指令的计算机可读存储媒体，所述指令在由计算机执行时致使所述计算机执行包括以下操作的操作：
基于第一图像数据提供第一图像统计；
接收第二图像数据；
基于所述第二图像数据生成第二图像统计；
确定是否满足提取准则，其中所述提取准则是基于基于所述第一图像数据的所述第一图像统计与基于所述第二图像数据的所述第二图像统计之间的改变量；
当不满足所述提取准则时，不从所述第二图像数据提取特征的第一子集；或者当满足所述提取准则时，从所述第二图像数据中提取特征的所述第一子集，且至少部分地基于特征的所述第一子集生成指示所述第二图像数据的图像的背景的第一背景数据；其中相较于提取特征的所述第一子集而言，确定是否满足所述提取准则使用较少的资源；
确定所述第一背景数据的置信水平，其中所述第一背景数据的所述置信水平为所确定的所述第二图像数据的所述图像的所述背景与特征的所述第一子集之间的关联的置信度；
确定从特征的所述第一子集生成的所述第一背景数据的所述置信水平是否满足阈值置信水平；
当不满足所述阈值置信水平时，从所述第二图像数据提取特征的第二子集，以及至少部分地基于特征的所述第二子集生成指示所述第二图像数据的所述图像的背景的第二背景数据；或者当满足所述阈值置信水平时，不从所述第二图像数据提取特征的所述第二子集。
17.根据权利要求16所述的计算机可读存储媒体，其中所述操作进一步包括：
产生所述第一图像数据的第一色彩直方图，其中所述第一图像统计包含所述第一色彩直方图中的特定色彩的像素的第一计数；及
产生所述第二图像数据的第二色彩直方图，其中所述第二图像统计包含所述第二色彩直方图中的所述特定色彩的像素的第二计数。
18.根据权利要求17所述的计算机可读存储媒体，其中将对所述第二图像数据执行的应用专有处理包含对具有所述特定色彩的特定物体的识别。
19.根据权利要求16所述的计算机可读存储媒体，其中所述操作进一步包括通过将特征的所述第一子集、特征的所述第二子集或两者群集而产生特征的群集子集，其中通过基于分类模型对特征的所述群集子集进行分类而生成所述背景数据。
20.根据权利要求16所述的计算机可读存储媒体，其中所述第一图像数据对应于第一图像传感器的第一设定，其中所述第二图像数据对应于第二图像传感器的第二设定，其中所述第一设定不同于所述第二设定，且其中所述第一图像传感器的设定包含缩放设定、分辨率设定、角度设定、位置，或其任何组合。
21.根据权利要求16所述的计算机可读存储媒体，其中所述第一图像传感器被集成到第一装置中，其中所述第二图像传感器被集成到第二装置中，且其中所述第一装置及所述第二装置是不同的。
CN201480033498.XA 2013-06-14 2014-06-13 计算机视觉应用处理 Active CN105284102B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361835400P 2013-06-14 2013-06-14
US61/835,400 2013-06-14
US201361871678P 2013-08-29 2013-08-29
US61/871,678 2013-08-29
US14/303,491 2014-06-12
US14/303,491 US10091419B2 (en) 2013-06-14 2014-06-12 Computer vision application processing
PCT/US2014/042319 WO2014201362A2 (en) 2013-06-14 2014-06-13 Computer vision application processing

Publications (2)

Publication Number Publication Date
CN105284102A CN105284102A (zh) 2016-01-27
CN105284102B true CN105284102B (zh) 2018-07-13

Family

ID=52018885

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480033498.XA Active CN105284102B (zh) 2013-06-14 2014-06-13 计算机视觉应用处理
CN201480032471.9A Active CN105264879B (zh) 2013-06-14 2014-06-13 计算机视觉应用处理

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480032471.9A Active CN105264879B (zh) 2013-06-14 2014-06-13 计算机视觉应用处理

Country Status (8)

Country Link
US (2) US10091419B2 (zh)
EP (2) EP3008891B1 (zh)
JP (2) JP6422955B2 (zh)
KR (2) KR20160021130A (zh)
CN (2) CN105284102B (zh)
ES (1) ES2753373T3 (zh)
HU (1) HUE045984T2 (zh)
WO (2) WO2014201386A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959471B2 (en) 2008-05-06 2018-05-01 Careview Communications, Inc. Patient video monitoring systems and methods for thermal detection of liquids
US20170155877A1 (en) * 2008-05-06 2017-06-01 Careview Communications, Inc. System and method for predicting patient falls
US9140590B2 (en) * 2011-02-09 2015-09-22 Texas Instruments Incorporated System and method of power-saving in MEMS sensor applications
US10091419B2 (en) 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US9560273B2 (en) * 2014-02-21 2017-01-31 Apple Inc. Wearable information system having at least one camera
KR102146857B1 (ko) * 2014-04-07 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
US9965021B2 (en) * 2014-06-23 2018-05-08 Mediatek, Inc. Method and system providing power management for multimedia processing
US10908492B2 (en) * 2014-08-29 2021-02-02 Huawei Technologies Co., Ltd. Image processing method and apparatus, and electronic device
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9923004B2 (en) 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US9940533B2 (en) * 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US10728450B2 (en) 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
US9621741B2 (en) * 2014-12-10 2017-04-11 Intel Corporation Techniques for context and performance adaptive processing in ultra low-power computer vision systems
US9836591B2 (en) 2014-12-16 2017-12-05 Qualcomm Incorporated Managing latency and power in a heterogeneous distributed biometric authentication hardware
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US9692967B1 (en) * 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US9704056B2 (en) * 2015-04-02 2017-07-11 Qualcomm Incorporated Computing hierarchical computations for computer vision calculations
US9622177B2 (en) 2015-08-06 2017-04-11 Qualcomm Incorporated Context aware system with multiple power consumption modes
JP6529383B2 (ja) * 2015-08-11 2019-06-12 京セラ株式会社 ウェアラブル装置及び出力システム
US9811881B2 (en) * 2015-12-09 2017-11-07 Goodrich Corporation Off-band resolution emhancement
US9916866B2 (en) 2015-12-22 2018-03-13 Intel Corporation Emotional timed media playback
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
CN105759935B (zh) * 2016-01-29 2019-01-18 华为技术有限公司 一种终端控制方法及终端
JP6727840B2 (ja) 2016-02-19 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 撮像装置、撮像制御方法及びコンピュータプログラム
US10037459B2 (en) * 2016-08-19 2018-07-31 Sage Software, Inc. Real-time font edge focus measurement for optical character recognition (OCR)
CN109314727B (zh) * 2016-09-09 2020-10-23 华为技术有限公司 一种控制移动终端屏幕的方法及装置
US10484568B2 (en) * 2016-10-26 2019-11-19 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
AU2018210818B2 (en) * 2017-01-23 2022-04-28 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10488912B1 (en) * 2017-01-27 2019-11-26 Digimarc Corporation Method and apparatus for analyzing sensor data
JP2018191209A (ja) * 2017-05-10 2018-11-29 オリンパス株式会社 情報記録装置、情報記録システム及び情報記録装置の制御方法
US20190088108A1 (en) * 2017-09-18 2019-03-21 Qualcomm Incorporated Camera tampering detection
US10574890B2 (en) * 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US11301022B2 (en) * 2018-03-06 2022-04-12 Motorola Mobility Llc Methods and electronic devices for determining context while minimizing high-power sensor usage
CN112166350B (zh) * 2018-06-05 2023-12-05 谷歌有限责任公司 智能设备中的超声感测的系统和方法
US11429192B2 (en) 2018-06-05 2022-08-30 Google Llc Confidence-based application-specific user interactions
WO2019236764A1 (en) * 2018-06-05 2019-12-12 Google Llc Confidence-based application-specific user interactions
DE102019205079A1 (de) * 2018-06-19 2019-12-19 Robert Bosch Gmbh Selektive Deaktivierung von Recheneinheiten für künstliche neuronale Netzwerke
CN109299315B (zh) * 2018-09-03 2023-03-28 腾讯科技（深圳）有限公司 多媒体资源分类方法、装置、计算机设备及存储介质
US10915995B2 (en) 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
US10524461B1 (en) * 2018-09-25 2020-01-07 Jace W. Files Pest detector to identify a type of pest using machine learning
US11244050B2 (en) * 2018-12-03 2022-02-08 Mayachitra, Inc. Malware classification and detection using audio descriptors
KR102257325B1 (ko) * 2018-12-10 2021-05-27 한국과학기술원 다중 서비스 요청 및 맥락인지 기반의 IoT 카메라 가상화 장치 및 방법
CN111832366B (zh) 2019-04-22 2024-04-02 富联精密电子(天津)有限公司 图像识别装置及方法
TWI723383B (zh) * 2019-04-22 2021-04-01 鴻齡科技股份有限公司 圖像識別裝置及方法
US11157777B2 (en) * 2019-07-15 2021-10-26 Disney Enterprises, Inc. Quality control systems and methods for annotated content
CN110531641B (zh) * 2019-08-19 2020-10-16 深圳市晨北科技有限公司 控制终端设备的方法、控制装置及终端设备
US11645579B2 (en) 2019-12-20 2023-05-09 Disney Enterprises, Inc. Automated machine learning tagging and optimization of review procedures
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
EP3855348A1 (en) * 2020-01-27 2021-07-28 Microsoft Technology Licensing, LLC Error management
US11119587B1 (en) * 2020-03-25 2021-09-14 Pixart Imaging Inc. Computer readable recording medium can perform image sensing system control method and image sensing system
JP2021174135A (ja) * 2020-04-22 2021-11-01 ソニーセミコンダクタソリューションズ株式会社 画像認識装置及び画像認識方法
USD989412S1 (en) 2020-05-11 2023-06-13 Shenzhen Liyi99.Com, Ltd. Double-tier pet water fountain
CN111814745B (zh) * 2020-07-31 2024-05-10 Oppo广东移动通信有限公司 手势识别方法、装置、电子设备及存储介质
US11790677B2 (en) * 2020-10-01 2023-10-17 Bank Of America Corporation System for distributed server network with embedded image decoder as chain code program runtime
USD993548S1 (en) 2021-01-15 2023-07-25 Shenzhen Liyi99.Com, Ltd. Pet water fountain
USD1003727S1 (en) 2021-01-15 2023-11-07 Aborder Products, Inc. Container
USD1013974S1 (en) 2021-06-02 2024-02-06 Aborder Products, Inc. Pet water fountain
US11302161B1 (en) 2021-08-13 2022-04-12 Sai Group Limited Monitoring and tracking checkout activity in a retail environment
US11308775B1 (en) 2021-08-13 2022-04-19 Sai Group Limited Monitoring and tracking interactions with inventory in a retail environment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539055B1 (en) * 1999-12-03 2003-03-25 Intel Corporation Scene change detector for video data
CN100517374C (zh) * 2005-12-29 2009-07-22 佳能株式会社 从复杂背景文档图像提取文本的装置、方法
CN100553286C (zh) * 2006-01-18 2009-10-21 夏普株式会社 图像处理方法、图像处理装置和图像形成装置
CN102113329A (zh) * 2008-07-29 2011-06-29 高通股份有限公司 在视频译码中基于压缩域中相似性量度的智能型跳帧
CN102147851A (zh) * 2010-02-08 2011-08-10 株式会社理光 多角度特定物体判断设备及多角度特定物体判断方法
CN102640081A (zh) * 2009-12-03 2012-08-15 Lg电子株式会社 通过检测用户的存在的姿势识别设备的功率控制方法
EP2538394A1 (en) * 2011-06-24 2012-12-26 Tomra Systems ASA Method and apparatus for detecting fraud attempts in reverse vending machines
CN103026368A (zh) * 2010-07-30 2013-04-03 高通股份有限公司 使用增量特征提取的对象辨识

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994003014A1 (en) 1992-07-24 1994-02-03 Koz Mark C Low power video security monitoring system
US5418714A (en) 1993-04-08 1995-05-23 Eyesys Laboratories, Inc. Method and apparatus for variable block size interpolative coding of images
US5713055A (en) * 1996-11-25 1998-01-27 Eastman Kodak Company Ambient light sensitive automatic flash control circuit
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
US6895048B2 (en) 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
JP4080276B2 (ja) 2002-08-27 2008-04-23 富士フイルム株式会社 オブジェクト抽出方法および装置ならびにプログラム
JP4231320B2 (ja) 2003-03-31 2009-02-25 本田技研工業株式会社 移動体の検出装置
JP2005176301A (ja) 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
JP2006079387A (ja) 2004-09-10 2006-03-23 Seiko Epson Corp 集積回路装置及びマイクロコンピュータ
FR2875627B1 (fr) 2004-09-21 2007-03-16 Canon Res Ct France S A S Soc Procede de determination d'un descripteur d'image, procede de comparaison d'images, procede de recherche d'image et dispositifs associes
KR100682906B1 (ko) 2004-12-09 2007-02-15 삼성전자주식회사 부스트 알고리즘을 이용한 영상의 얼굴 검출 장치 및 방법
US7945938B2 (en) * 2005-05-11 2011-05-17 Canon Kabushiki Kaisha Network camera system and control method therefore
US20070028286A1 (en) 2005-07-28 2007-02-01 Greene David P Systems, methods, and media for detecting content change in a streaming image system
TW200736900A (en) 2006-03-31 2007-10-01 Benq Corp Computer system capable of operating functions according to scene change and method thereof
US7668369B2 (en) 2006-04-26 2010-02-23 Hewlett-Packard Development Company, L.P. Using camera metadata to classify images into scene type classes
US8134642B2 (en) 2007-01-24 2012-03-13 Focaltech Systems, Ltd. Method and system for converting interleaved video fields to progressive video frames in spatial domain
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP4964044B2 (ja) * 2007-07-06 2012-06-27 三菱電機株式会社 顔検出装置及び顔検出方法
US7683305B2 (en) 2007-09-27 2010-03-23 Aptina Imaging Corporation Method and apparatus for ambient light detection
JP4660827B2 (ja) 2007-11-16 2011-03-30 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像信号処理装置、コントラスト制御方法及びプログラム
US8170278B2 (en) 2008-08-06 2012-05-01 Sri International System and method for detecting and tracking an object of interest in spatio-temporal space
US8995731B2 (en) 2008-11-26 2015-03-31 Medtronic, Inc. Image-based characterization of implanted medical leads
JP5002575B2 (ja) 2008-11-28 2012-08-15 日本電信電話株式会社 非定常度推定装置、非定常度推定方法、非定常度推定プログラム
JP2010136292A (ja) 2008-12-08 2010-06-17 Toshiba Corp 画像処理装置
CN104954789A (zh) 2009-04-20 2015-09-30 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
JP4830007B2 (ja) * 2009-06-22 2011-12-07 株式会社沖データ 画像形成装置
US8339459B2 (en) 2009-09-16 2012-12-25 Microsoft Corporation Multi-camera head pose tracking
KR101652110B1 (ko) * 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8467611B2 (en) 2010-12-10 2013-06-18 Eastman Kodak Company Video key-frame extraction using bi-level sparsity
JP6106921B2 (ja) * 2011-04-26 2017-04-05 株式会社リコー 撮像装置、撮像方法および撮像プログラム
CN103049733B (zh) 2011-10-11 2016-02-03 株式会社理光 人脸检测方法和人脸检测设备
JP5805511B2 (ja) 2011-12-01 2015-11-04 セコム株式会社 画像監視装置
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US8965046B2 (en) 2012-03-16 2015-02-24 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for smiling face detection
US9569695B2 (en) 2012-04-24 2017-02-14 Stmicroelectronics S.R.L. Adaptive search window control for visual search
US8971642B2 (en) * 2012-04-26 2015-03-03 Google Inc. Testing the rendering of visual content
KR101303124B1 (ko) * 2012-05-31 2013-09-09 삼성에스디에스 주식회사 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
KR101925412B1 (ko) * 2012-07-03 2018-12-05 삼성전자주식회사 휴대 단말기의 슬립 모드 제어 방법 및 장치
CN104541290A (zh) 2012-07-23 2015-04-22 Metaio有限公司 提供图像特征描述符的方法
US9264584B2 (en) 2012-09-19 2016-02-16 Tata Consultancy Services Limited Video synchronization
US9002109B2 (en) * 2012-10-09 2015-04-07 Google Inc. Color correction based on multiple images
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
US9183460B2 (en) 2012-11-30 2015-11-10 Google Inc. Detecting modified images
US20140157209A1 (en) 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
US9092665B2 (en) * 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9633272B2 (en) * 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US9202129B2 (en) * 2013-03-12 2015-12-01 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
US9661221B2 (en) 2013-03-15 2017-05-23 Qualcomm Incorporated Always-on camera sampling strategies
US10091419B2 (en) 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
FR3009635B1 (fr) * 2013-08-08 2016-08-19 St Microelectronics Sa Procede de recherche d'une image similaire dans une banque d'images a partir d'une image de reference
US9117144B2 (en) 2013-08-14 2015-08-25 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
US9443134B2 (en) 2014-05-15 2016-09-13 Adobe Systems Incorporated Propagating object selection across multiple images
US9836591B2 (en) 2014-12-16 2017-12-05 Qualcomm Incorporated Managing latency and power in a heterogeneous distributed biometric authentication hardware
GB2553105B (en) 2016-08-22 2019-09-04 Canon Kk Method and system for determining a relationship between two regions of a scene

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539055B1 (en) * 1999-12-03 2003-03-25 Intel Corporation Scene change detector for video data
CN100517374C (zh) * 2005-12-29 2009-07-22 佳能株式会社 从复杂背景文档图像提取文本的装置、方法
CN100553286C (zh) * 2006-01-18 2009-10-21 夏普株式会社 图像处理方法、图像处理装置和图像形成装置
CN102113329A (zh) * 2008-07-29 2011-06-29 高通股份有限公司 在视频译码中基于压缩域中相似性量度的智能型跳帧
CN102640081A (zh) * 2009-12-03 2012-08-15 Lg电子株式会社 通过检测用户的存在的姿势识别设备的功率控制方法
CN102147851A (zh) * 2010-02-08 2011-08-10 株式会社理光 多角度特定物体判断设备及多角度特定物体判断方法
CN103026368A (zh) * 2010-07-30 2013-04-03 高通股份有限公司 使用增量特征提取的对象辨识
EP2538394A1 (en) * 2011-06-24 2012-12-26 Tomra Systems ASA Method and apparatus for detecting fraud attempts in reverse vending machines

Also Published As

Publication number Publication date
WO2014201362A3 (en) 2015-03-05
WO2014201386A1 (en) 2014-12-18
US10091419B2 (en) 2018-10-02
CN105264879A (zh) 2016-01-20
JP6422955B2 (ja) 2018-11-14
EP3008891A2 (en) 2016-04-20
HUE045984T2 (hu) 2020-01-28
US10694106B2 (en) 2020-06-23
ES2753373T3 (es) 2020-04-08
JP2016529585A (ja) 2016-09-23
KR20160021130A (ko) 2016-02-24
WO2014201362A2 (en) 2014-12-18
EP3008891B1 (en) 2020-10-14
US20140368688A1 (en) 2014-12-18
US20140368626A1 (en) 2014-12-18
EP3008892B1 (en) 2019-07-31
KR20160021131A (ko) 2016-02-24
EP3008892A1 (en) 2016-04-20
CN105284102A (zh) 2016-01-27
CN105264879B (zh) 2019-01-08
JP2016532182A (ja) 2016-10-13

Similar Documents

Publication Publication Date Title
CN105284102B (zh) 计算机视觉应用处理
JP7009553B2 (ja) イベントベースのビジョンセンサを使用した低電力で常時オンの顔の検出、追跡、認識および／または分析
US11871328B2 (en) Method for identifying specific position on specific route and electronic device
KR101826189B1 (ko) 올웨이즈-온 카메라 샘플링 전략들
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
CN108399349A (zh) 图像识别方法及装置
CN113170037B (zh) 一种拍摄长曝光图像的方法和电子设备
WO2022179604A1 (zh) 一种分割图置信度确定方法及装置
WO2022073417A1 (zh) 融合场景感知机器翻译方法、存储介质及电子设备
CN106201598A (zh) 一种增强现实功能的关闭方法、装置和终端设备
CN116520713A (zh) 智能家居的控制方法、电子设备及计算机可读存储介质
TW201832126A (zh) 低功率虹膜掃描初始化
CN118118775A (zh) 场景感知方法、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant