CN111919433B - 用于操作移动相机以用于低功率使用的方法和装置 - Google Patents

用于操作移动相机以用于低功率使用的方法和装置 Download PDF

Info

Publication number
CN111919433B
CN111919433B CN201980008306.2A CN201980008306A CN111919433B CN 111919433 B CN111919433 B CN 111919433B CN 201980008306 A CN201980008306 A CN 201980008306A CN 111919433 B CN111919433 B CN 111919433B
Authority
CN
China
Prior art keywords
feature
audio
camera
detection state
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980008306.2A
Other languages
English (en)
Other versions
CN111919433A (zh
Inventor
D·莫洛尼
A·德加尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movidius Ltd Netherland
Original Assignee
Movidius Ltd Netherland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movidius Ltd Netherland filed Critical Movidius Ltd Netherland
Priority to CN202211080327.5A priority Critical patent/CN115996315A/zh
Publication of CN111919433A publication Critical patent/CN111919433A/zh
Application granted granted Critical
Publication of CN111919433B publication Critical patent/CN111919433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Alarm Systems (AREA)
  • Vascular Medicine (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

示例移动相机，包括：第一卷积神经网络，其用于响应于在第一传感器数据中检测到第一特征而识别第一传感器数据中的第一特征；状态转换器，其用于响应于第一卷积神经网络识别第一特征而将移动相机从第一特征检测状态转换到第二特征检测状态，移动相机用于在第二特征检测状态中使用比在第一特征检测状态中更高的功耗来操作；第二卷积神经网络，其用于在第二特征检测状态下识别第二传感器数据中的第二特征；以及通信接口，其用于向外部设备发送以下中的至少一个：与第一特征相对应的第一元数据或与第二特征相对应的第二元数据。

Description

用于操作移动相机以用于低功率使用的方法和装置
技术领域
本公开一般涉及移动计算，并且更具体地涉及操作移动相机以用于低功率使用的方法和装置。
背景技术
数码相机经常集成到手持移动计算设备(例如，蜂窝电话和手持媒体设备)中。数码相机还经常集成到其他类型的计算设备(例如，平板计算设备和膝上型计算机)中。这样的数码相机由用户操作以捕获数字图像和视频。数字图像和视频可以本地存储在集成了数码相机的计算设备的存储器中，或者它们可以通过公共网络(例如，互联网)或通过私有网络被发送到网络可访问的存储位置。不管怎样，数字图像和视频可以随后由那些图像和视频的创建者或者由具有访问权限的其他人访问。
附图说明
图1A示出了根据本公开的教导实现的示例移动相机。
图1B示出了可以用来实现图1A中所示的移动相机的示例硬件平台。
图2示出了与对应的移动相机和云系统进行无线通信的示例移动电话主机设备。
图3示出了与图1A、图1B和图2的移动相机一起使用的示例多功率水平操作状态层级。
图4示出了图1A、图1B和图2的移动相机在图3的不同功率水平操作状态下的示例功率使用的线图。
图5A和5B描绘了根据本公开的教导的图1A和图1B的视觉处理单元(VPU)的示例实现，其可以用在图1A、图1B和图2的移动相机中，以在图3的不同功率水平操作状态下操作。
图5C描述了示例状态顺序配置器，其可以与图5A和图5B中描述的VPU一起使用，以配置图3的不同功率水平操作状态的顺序。
图6示出了表示示例机器可读指令的流程图，该示例机器可读指令可以被执行以实现图1A、图1B和图2的移动相机和/或图1A、图1B、图5A、图5B和图5C的VPU 108，以在图3的不同功率水平操作状态下操作。
图7示出了能够执行图6的机器可读指令以实现图1A、图1B和图2的移动相机和/或图1A、图1B、图5A、图5B和图5C的VPU 108以在图3的不同功率水平操作状态下操作的处理器平台。
附图不是按比例绘制的。相反，为了清楚起见，在附图中可以放大不同的所示方面。通常，在所有附图和所附书面描述中使用相同的附图标记来表示相同或相似的部分。
具体实施方式
本文公开的示例方法和装置以低功率使用来操作移动相机。本文公开的示例可以操作具有有限电源的移动相机，同时实现移动相机的用于生产力、娱乐，和/或作为在用户的日常活动中辅助用户的技术(例如，辅助技术)的许多用途。本文公开的示例移动相机在低功率特征监视模式下和一个或多个较高功率活动模式下操作。低功率特征监视模式使得移动相机能够监视其周围环境的特性，同时消耗很少的功率(例如，约2毫瓦或更少)。在低功率特征监视模式下，示例移动相机的环境分析逻辑监视环境特性以识别表示刺激的感兴趣的特征，该刺激可以保证将移动相机转换到较高功率活动模式，在较高功率活动模式下，移动相机可以监视附加类型的环境特性和/或捕获一个或多个高质量视觉捕获。如本文所使用的，“视觉捕获”是由一个或多个相机捕获的图像和/或视频。在本文公开的涉及视觉捕获的处理的示例中，视觉捕获可以是单个图像捕获或者可以是作为视频捕获的帧序列的一部分的帧。
本文公开的由移动相机监视的示例环境特性包括视觉特性、音频特性和/或运动特性。为了监视这样的环境特性，本文公开的示例移动相机被提供有多个传感器。示例传感器包括相机、麦克风和/或运动检测器。在不脱离本公开的范围的情况下，也可以提供其他类型的传感器。通过使用低功率特征监视模式来监视环境特性，本文所公开的示例使得移动相机能够以相对低的电池消耗速率长时间(例如，数天或数周)操作。
本文公开的示例还使得这种节能的移动相机能够基于一个或多个检测到的环境刺激来智能地检测何时转换到一个或多个较高功率活动模式。也就是说，本文公开的示例将一些环境刺激识别为触发特征，当检测到触发特征时，指示移动相机要被转换到较高功率活动模式以启用移动相机的附加功能。例如，在最低功率特征监视模式下，移动相机可以对其运动检测子系统和/或其音频监视子系统供电，同时将其他传感器子系统维持在低功率待机模式下。在检测到运动触发特征(例如，阈值移动量)和/或音频触发特征(例如，关键字、特定声音、动物声音、车辆声音、人类声音、家庭声音、工业声音等)时，移动相机可以转换到下一较高功率模式，在该下一较高功率模式下，低分辨率相机被供电以捕获低分辨率的视觉捕获。移动相机然后可以使用机器视觉过程来分析低分辨率视觉捕获以监视视觉触发特征(例如，面部、物体、车辆等)。在检测到视觉触发特征时，移动相机可以转换到下一较高功率模式，在该下一较高功率模式下，启用移动相机的一个或多个附加子系统。在一些示例中，移动相机的最高高功率活动模式可以涉及使一个或多个高分辨率相机能够捕获高质量视觉捕获。以这种方式，本文公开的示例使得移动相机能够在功率受限的配置中长时间操作，而移动相机智能地在较高功率模式下间歇地操作以捕获高质量数据(例如，移动相机周围环境的高分辨率视觉捕获)。
图1A示出了示例移动相机100，其包括多个示例相机102、示例惯性测量单元(IMU)104、示例音频编解码器(AC)106、示例视觉处理单元(VPU)108和示例无线通信接口110。图1B是可以用于实现图1A的移动相机100的示例硬件平台。示例移动相机100可以是可穿戴相机和/或可安装相机。可穿戴相机可以由人穿戴或携带。例如，人可以将可穿戴相机钉到或附接到衬衫或衣襟上，将可穿戴相机作为眼镜的一部分穿戴，从围绕其颈部的系索悬挂可穿戴相机，经由皮带夹将可穿戴相机夹到其皮带，将可穿戴相机夹到或附接到包(例如，钱包、背包、公文包等)，和/或使用任何其他合适的技术来穿戴或携带可穿戴相机。在一些示例中，可穿戴相机可以被夹到或附接到动物(例如，宠物、动物园动物、野生动物等)。可安装相机可以以任何合适的方式安装到机器人、无人机或静止物体上以监视其周围环境。
本文公开的示例移动相机实现与物联网眼部(EOT)平台交互操作的EOT设备，跨互联网的计算机(例如，服务器、客户端设备、电器等)可以经由应用编程接口(API)与EOT平台通信以访问环境、人、物体、车辆等的视觉捕获。例如，云服务(例如，由云系统206提供)可以实现这样的EOT平台以收集和/或提供对视觉捕获的访问。在一些示例中，这样的视觉捕获可以是由EOT设备和/或EOT平台进行的用于对视觉捕获中的特征的进行提取、识别、修改等机器视觉处理的结果，以使得这样的视觉捕获对于生成关于视觉捕获的主题的感兴趣的信息更有用。
提供示例相机102用于捕获视觉捕获(例如，图像和/或视频)，并且可以使用例如一个或多个CMOS(互补金属氧化物半导体)图像传感器和/或一个或多个CCD(电荷耦合器件)图像传感器来实现。在图1A和图1B的所示的示例中，多个相机102包括两个低分辨率相机102a、102b和两个高分辨率相机102c、102d。然而，在其他示例中，相机102中的一些或全部可以是低分辨率的，和/或一些或全部可以是高分辨率的。
简要转到图1B的示例，低分辨率相机102a、102b经由用作扩展板的插件板152在电路中与VPU 108连接，通过该扩展板，附加传感器可以连接到VPU 108。示例多路复用器154在电路中在VPU 108和插件板152之间，以使得VPU 108能够选择在插件板152上对哪个传感器供电和/或与哪个传感器通信。同样在图1B的所示的示例中，高分辨率相机102c在电路中直接与VPU 108连接。低分辨率相机102a、102b和高分辨率相机102c可以经由任何适当的接口连接到VPU，所述适当的接口例如由
Figure BDA0002582203840000041
联盟相机工作组定义的移动工业处理器接口(MIPI)相机接口(例如，MIPI CSI-2或MIPI CSI-3接口标准)、串行外围接口(SPI)、I2C串行接口、通用串行总线(USB)接口、通用异步接收/发送(UART)接口等。所示实例的高分辨率相机102d示出为低电压差分信号(LVDS)相机，其在电路中经由现场可编程门阵列(FPGA)156与VPU 108连接，FPGA 156操作为LVDS接口以将LVDS信号转换为可由VPU 108处理的信号。在其他示例中，VPU 108可被提供有LVDS接口，且可省略FPGA 156。在其他示例中，低分辨率相机102a、102b和高分辨率相机102c、102d的任何组合可在电路中直接、间接和/或经由插件板152与VPU 108连接。在任何情况下，移动相机100可以完全关闭任何或所有相机102a-d和对应接口，使得相机102a-d和对应接口不消耗功率。
在图1A和图1B的所示示例中，低分辨率相机102a、102b比高分辨率相机102c、102d消耗的功率基本上低得多。因此，在一些示例中，低分辨率相机102a、102b可实施为低功率始终开启(AoN)相机。为了节省电池电量，移动相机100在低功率特征监视模式下操作，在该低功率特征监视模式下，高分辨率相机102c、102d被置于或设置在低功率待机模式(例如，高分辨率相机102c、102d消耗非常少的功率或不消耗功率的模式)，直到VPU 108在来自低分辨率相机102a、102b的一个或多个视觉捕获中检测到感兴趣的视觉特征为止。当检测到这样的感兴趣的视觉特征时，移动相机100转换到较高功率活动模式，在该较高功率活动模式下，高分辨率相机102c、102d被置于或设置在活动模式下以被上电，以捕获比使用低分辨率相机102a、102b可能捕获的视觉捕获更高质量的视觉捕获(例如，感兴趣的视觉特征)。以这种方式，使用本文公开的示例，在低功率特征监视模式期间，通过使用低分辨率相机102a、102b可以将由移动相机100进行的视觉监视引起的功耗维持得相对较低，直到检测到感兴趣的视觉特征为止。当检测到感兴趣的特征时，高分辨率相机102c、102d所汲取的相对更多的功率仅需由移动相机100提供。
在一些示例中，所示示例的多个相机102a-d可以被机械地布置成产生不同重叠或非重叠视图的视觉捕获。不同视图的视觉捕获可以被聚集以形成环境的全景视图，或者形成比来自单个相机的视觉捕获中的任何单个视觉捕获所覆盖的环境的另外更广阔的视图。在一些示例中，多个相机102a-d可以用于基于组合经由两个相机同时捕获的视觉捕获来产生立体视图。在一些示例中，如图1A和图1B中，可以为每个低分辨率相机提供单独的高分辨率相机。在其他示例中，提供单个低分辨率相机以在低功率特征监视模式期间使用，并且提供多个高分辨率相机以在使用低分辨率相机进行感兴趣特征确认时生成高质量的多视图视觉捕获和/或高质量的立体视觉捕获。在移动相机100安装在非人类载体上(例如，无人驾驶飞行器(UAV)、机器人或无人机)的一些示例中，移动相机100可以被提供有围绕360度布置以及顶部和底部放置安装的多个相机，使得多个相机可以提供环境的完整视图。例如，如果移动相机100安装在无人机上，则无人机可以具有安装在前部位置、后部位置、左部位置、右部位置、顶部位置和底部位置处的六个相机。在一些示例中，单个或多个低分辨率和/或低功率相机可以通过一定长度的电缆连接到移动相机100，以用于需要通过孔径或通道插入、输送或伸缩相机的应用，这种应用是整个移动相机100不能到达的。这种示例应用是医疗应用，其中医生需要将相机输送到患者体内以用于进一步的调查、诊断和/或手术。
图1A和图1B的示例IMU 104是测量和报告与移动相机100的载体(例如，人、物体、无人机、UAV、车辆等)相关联的三维(3D)空间中的移动(例如，力、角速率和/或周围磁场)的电子设备。为了测量这种移动，示例IMU 104可以在电路中与一个或多个运动传感器158(图1B)(例如，一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计等)连接。示例AC 106可以用于检测环境声音，包括由携带移动相机100的人生成的和/或由移动相机100附近的人生成的语音。为了检测这种声音，AC 106可以在电路中与一个或多个麦克风162(图1B)连接。在其他示例中，可以提供其他传感器接口以监视其他环境特性。例如，移动相机100可以附加地或替代地提供有温度传感器接口、压力传感器接口、湿度传感器接口、辐射传感器接口、风传感器接口、周期移动传感器接口、突然移动传感器接口、空气质量传感器接口、微粒传感器接口、pH传感器接口等。示例移动相机100可以被提供有任何合适的传感器以测量或监视家庭、商业和/或工业环境中的任何环境特性。
提供了示例VPU 108以执行计算机视觉处理，从而提供周围环境的视觉感知。示例VPU 108还包括用于执行运动处理和/或音频处理以提供运动感知和/或音频感知的能力。例如，VPU 108可以与多个传感器或传感器接口进行接合，所述多个传感器或传感器接口包括相机102、IMU 104、运动传感器158、AC 106和/或麦克风162，以接收多个传感器输入数据。图1A的示例VPU 108被提供有一个或多个卷积神经网络(CNN)特征分析器114、一个或多个计算机视觉(CV)分析器116和/或一个或多个音频数字信号处理器(DSP)118，以便如下面结合图5A和图5B所述那样处理这种传感器输入数据。以这种方式，示例VPU 108可以对来自各种传感器的传感器输入数据执行视觉处理、运动处理、音频处理等，以提供视觉感知、运动感知和/或音频感知。所示示例的VPU 108可以使用来自由Intel公司的MovidiusTM设计和销售的MyriadTM X系列VPU和/或MyriadTM 2系列VPU的VPU来实现。可替换地，可以使用任何其他适当的VPU来实现示例VPU 108。
在所示示例中，VPU 108处理来自相机102的像素数据、来自IMU 104的运动数据和/或来自AC 106的音频数据，且生成描述这些传感器数据的基于传感器的元数据。通过生成这种基于传感器的元数据，移动相机100可以将基于传感器的元数据传送到主机设备(例如，图2的移动电话202)和/或云服务(例如，由图2的云系统206提供)以用于处理，而不是传送原始传感器数据(例如，像素数据、音频数据和/或运动数据)。以这种方式，在视觉捕获方面，出现在视觉捕获中的个体和/或私人/个人财产的身份或隐私不会被无意地暴露给连接到互联网的其他联网设备或计算机，这些其他联网设备或计算机在跨互联网的传输期间可能恶意或无意地访问这样的视觉捕获。与发送元数据而不是原始视觉捕获相关联的这种隐私保护对于提供遵守关于个人信息的隐私保护的政府和/或行业法规的移动相机是有用的。可以使用本文公开的示例来促进对其合规的这种政府法规的示例是欧盟(EU)通用数据保护法规(GDPR)，其被设计为协调整个欧洲的数据隐私法律，保护并授权关于数据隐私的所有EU公民，并且重塑整个EU区域的组织处理数据隐私的方式。另外，发送小尺寸元数据(其可被加密和编码以用于附加安全性)显著地减少了原本将需要用于发送原始传感器数据的功耗。
在一些示例中，本文公开的移动相机可以在图像/视频输出模式下操作，在该图像/视频输出模式中，移动相机输出视觉捕获以用于存储在主机设备和/或云服务处。以这种方式，用户可以使用移动相机100来生成图片和/或视频存储器，以用于长期存储以及随后由他们和/或已经被授予访问权限的其他人观看。本文公开的示例移动相机可以被提供有用户可控或系统可控设置以设置移动相机何时将在元数据输出模式下或图像/视频输出模式下操作。
图1A和图1B的示例无线通信接口110可以使用任何合适的无线通信协议(例如，Wi-Fi无线通信协议、
Figure BDA0002582203840000081
无线通信协议、
Figure BDA0002582203840000082
无线通信协议等)来实现。无线通信接口110可以用于经由客户端/服务器通信和/或对等通信与主机设备(例如，图2的移动电话主机设备202中的一个)和/或其他移动相机通信。
图2示出了与相对于应的示例移动相机204和示例云系统206进行无线通信的示例移动电话主机设备202。在图2的所示示例中，移动电话主机设备202用作从示例移动相机204接收信息并向其发送信息的主机设备。移动电话主机设备202还将移动相机204通信地连接到由云系统206提供的云服务。尽管主机设备202被示为移动电话，但是在其他示例中，主机设备202可以使用任何其他类型的计算设备来实现，其他类型的计算设备包括智能手表或其他可穿戴计算设备、平板计算设备、膝上型计算设备、台式计算设备、互联网电器、物联网(IoT)设备等。示例移动相机204与图1A和图1B的移动相机100基本上类似或相同。
在图2的所示示例中，移动相机204使用无线通信208经由无线通信接口(例如，图1A和图1B的无线通信接口110)与它们对应的移动电话主机设备202无线通信。另外，示例移动电话主机设备202经由例如蜂窝网络、Wi-Fi或任何其他合适的无线通信手段与云系统206无线通信。在任何情况下，移动电话主机设备202和云系统206经由公共网络(例如，互联网)和/或经由私有网络通信。在一些示例中，移动相机204可以被配置为直接与云系统206通信，而无需中间主机设备202。在其他示例中，主机设备202可以与移动相机204组合在同一设备或外壳中。
示例云系统206使用经由基于云的网络基础设施彼此通信和/或与服务器主机通信的多个分布式计算节点和/或存储节点来实现。示例云系统206提供将由移动电话主机设备202和/或移动相机204访问的云服务。示例云服务可以包括元数据处理和信息检索服务，以分析和识别由移动相机204和/或移动电话主机设备202生成的元数据，并且从对应于元数据的存储设备检索信息。云系统206可以将这样的检索到的信息传送到移动电话主机设备202，以供移动电话主机设备202和/或移动相机204使用和/或供移动电话主机设备202的用户查看。示例云服务可以另外或替换地包括图像存储和/或视频存储服务以存储来自移动相机204的视觉捕获。在一些示例中，云系统206可以由基于服务器的系统和/或任何其他基于网络的系统来代替，其中移动电话主机设备202与基于网络的系统的中央计算和/或存储设备通信。
示例移动相机204和移动电话主机设备202逻辑上位于网络的边缘，因为它们是数据通信的端点。在所示示例中，来自移动相机204的基于传感器的元数据和/或视觉捕获可以在网络的边缘处(例如，由移动相机204和/或由对应的移动电话主机设备202)和/或在云系统206处存储和/或处理。在网络的边缘处而不是在云系统206处处理视觉捕获从云系统206卸载处理要求。例如，用于计算机视觉分析的处理要求跨多个移动相机204和/或移动电话主机设备204分布，使得每个移动相机204和/或移动电话主机设备202可以使用其用于视觉捕获的计算机视觉分析的处理能力并且生成元数据，使得云系统206不需要配备有对从大量联网移动相机204接收的大量视觉捕获执行这样的计算机视觉分析所需的显著额外CPU(中央处理单元)资源、GPU(图形处理单元)资源和/或存储器资源。另外，当在分布式移动相机204处并行执行，而不是在中央位置(例如，云系统206)逐一执行时，可以更快地完成计算机视觉分析。
在一些示例中，移动相机204同时在不同环境中使用，并且基于那些不同环境将基于传感器的元数据和/或视觉捕获传送到云系统206。在其他示例中，两个或更多移动相机204在相同环境中操作，使得它们可以从相同环境的不同视角或不同视场产生视觉捕获。在这样的示例中，来自不同移动相机204的视觉捕获在被总体考虑时形成环境的全景视图或者形成比来自单个移动相机204的视觉捕获中的任何单个视觉捕获所能覆盖的环境的另外更广阔的视图。在其他示例中，单个移动相机204被提供有多个相机，如以上结合图1A和图1B所描述的，以提供其环境的全景或更广阔的视图。
在所示示例中，每个移动相机204与其对应的移动电话主机设备202物理地分离，使得移动相机204可以由人穿戴，而移动电话主机设备202可以被收藏在钱包、包和/或口袋中。这消除了使用这种相机的人抽出他们的移动电话来捕获图像或视频的需要，因为这种视觉捕获可以由移动相机204进行。另外，这种布置对于帮助人们在他们的不同环境中导航是有用的。例如，一个人可能在沿着繁忙的人行道行走的同时正在观看他们的移动电话。为了防止人的分心造成危险情况，移动相机204可以作为另一组眼睛来操作，以识别其他即将到来的人、车辆或其他障碍物，并且向人警告那些周围元素。这样，本文公开的示例移动相机可以作为“总是在世界上的眼睛”设备操作以向用户提供关于他们的周围环境的补充信息。例如，移动相机204可以在人沿着人行道行走时对视觉捕获流执行计算机视觉分析，以通过检测对应的图像特征(例如，路缘的图像、路缘的边缘、路缘的线等)来生成识别人行道的接近路缘的元数据。移动相机204可以生成路缘警告元数据，并且将这样的元数据传送到对应的移动电话主机设备202或其他可穿戴设备(例如，智能眼镜、辅助设备等)。移动电话主机设备202可以通过发出声响警告和/或向人显示通知来处理路缘警告元数据，该通知指示该人应当注意路缘和/或路缘之外的正在接近的车辆。在一些示例中，由移动相机204捕获的立体图像和/或视频可以用于确定人与接近的障碍物(例如，车辆或路缘)之间的距离和/或人正变得更靠近接近障碍物的速度。这种距离和/或速度信息可以经由个人的移动电话主机设备202或其他计算设备(例如，可穿戴设备)提供给个人。
在一些示例中，移动相机204可以用于识别移动相机204的视觉接近度内的感兴趣的其他人和/或其他特征。在这样的示例中，移动相机204可以被穿戴在衣襟、衬衫上或者在携带移动相机204的人的某个位置处。例如，移动相机204可以由在会议或商业展览中的人穿戴，在会议或商业展览中，许多其他人在场并且许多设施(例如，自助餐厅、电话充电站、会议室、休息室等)和/或供应商展台可供使用。该人可以识别另一出席者，但不记得出席者的姓名或关于出席者的其他信息(例如，姓名、头衔、雇主、最后会议、最后交互、最后通信等)。在这种情况下，移动相机204主动地生成并分析其他出席者的视觉捕获，并且与由云系统206托管的云服务通信以获得关于其他出席者的相关信息以供穿戴移动相机204的人访问。关于出席者的信息可用于刷新该人关于出席者的记忆和/或重新通知该人关于出席者，使得该人可对出席者进行更全面和相关的介绍。在一些示例中，当已经从云服务接收到关于出席者的信息时，相关联的移动电话主机设备202生成通知该人的警报(例如，声响警报、振动警报、显示通知等)。以这种方式，该人不需要花费精力和时间来主动发送对信息的请求。相反，移动相机204、移动电话主机设备202和云系统206可以操作以提供这样的信息，而无需用户干预。
在一些示例中，由云系统206提供的云服务是具有注册订阅者、关于那些订阅者的简档信息、关于那些订阅者的日历信息、关于那些订阅者的电子邮件和即时消息传递信息等的社交网络服务(例如，Facebook、Twitter等)或商业网络服务(例如，LinkedIn)。以这种方式，当云服务接收由移动相机204生成的基于传感器的元数据和/或视觉捕获时，云服务可以利用这样的订阅者信息来提供关于在基于传感器的数据和/或视觉捕获中表示的人的相关信息。在其他示例中，云服务与其他订阅者模型服务(例如，社交网络服务或商业网络服务)通信，以根据由那些订阅者授予的用于提供对其订阅者信息的访问的许可来访问这样的订阅者信息。
在一些示例中，移动相机204还可以用于识别和访问关于非人类对象的信息。例如，移动相机204可以由艺术博物馆中的顾客用来识别不同的艺术品，从云服务检索关于这样的艺术品的信息(例如，艺术品名称、艺术家名称、创作日期、创作地点等)，并且经由移动电话主机设备202访问检索到的信息。
在本文公开的示例中，移动电话主机设备202被提供有示例信息代理器(IB)210，以在移动相机204和由云系统206提供的云服务之间传送信息。在所示示例中，使用MQTT(消息队列遥测传输)协议来实现信息代理器210。MQTT协议是在TCP/IP协议之上工作的基于ISO标准(ISO/IEC PRF 20922)发布-订阅消息收发协议。在本文公开的示例中，MQTT协议可以用作用于小型传感器(例如，移动相机204)和移动设备(例如，移动电话主机设备202)的轻量级消息收发协议，以处理用于高延迟和/或不可靠网络的通信。以此方式，本文公开的示例可以采用MQTT协议作为低功率和低带宽协议，以使用对等(P2P)通信来维持移动相机204和移动电话主机设备202之间的高效和可靠的通信和/或用于与云服务或其他联网设备交换信息(例如，数据和/或视觉捕获)。使用信息代理器210，轻量通信可用于将轻量数据(例如，由移动相机204从视觉捕获提取的元数据)从移动相机204和/或移动电话主机设备202发送到云服务。在这样的示例中，移动相机204可以处理网络边缘处的视觉捕获，并且消耗较少的网络带宽量来将生成的元数据传送到云服务。
图3示出了与图1A、图1B和图2的移动相机100、204一起使用的示例多功率水平操作状态层级300。示例多功率水平操作状态层级300可以用于实现移动相机100、204的低功率使用，并且因此节省电池电荷。示例多功率水平操作状态层级300基于以下前提而实现低功率使用，即，在大部分时间，示例移动相机100、204不执行计算密集型处理和/或收集高质量的视觉捕获。例如，在低功率特征监视模式中，移动相机100、204可以监视运动传感器数据、音频传感器数据和/或低分辨率视觉捕获(例如，执行CNN推断过程)以识别可以使移动相机100、204转换到一个或多个较高功率模式的触发特征。
在一些示例中，多功率水平操作状态层级300可用于控制移动相机100、204的无线通信子系统(例如，图1A和图1B的无线通信接口110)的通电或活动状态。例如，在多功率水平操作状态层级300的较低功率状态下，移动相机100、204可以避免生成需要被传送到由云系统206提供的云服务的元数据。在这样的场景中，无线通信接口100可以保持在低功率模式以节省电池功率。
示例多功率水平操作状态层级300的操作状态包括示例复位状态302、示例运动特征检测状态304、示例音频特征检测状态306、示例低分辨率相机特征检测状态308、示例计算机视觉处理特征检测状态310、示例CNN特征检测状态312、示例高分辨率相机特征检测状态314、以及示例视频捕获状态316。
图4示出了移动相机100、204的示例功率使用趋势，其描绘了在不同功率状态302、304、306、308、310、312、314和316之间的相对功率使用。在图4的所示示例中，最低功率状态为复位状态302，且最高功率状态为视频捕获状态316。当移动相机100、204沿着不同的功率状态302、304、306、308、310、312、314和316从复位状态302进行到视频捕获状态316时，由移动相机100、204的子系统汲取的处理资源和电流增加，这进而增加了功耗。
在示例复位状态302中，移动相机100、204的大部分处于低功率模式，其中仅少量的电功率被用于对系统关键部件(例如，用于维持系统时间的实时时钟、用于响应基于传感器的唤醒事件的外部中断输入、用于安排周期性或非周期性唤醒事件的监视定时器等)供电，而其他子系统处于低功率待机模式。在唤醒事件期间，移动相机100、204可分析输入传感器数据以识别致使移动相机100、204转换到较高功率状态的触发特征。在本文公开的示例中，使移动相机100、204在多功率水平操作状态层级300的不同功率状态之间转换的触发特征可以由IMU 104、AC 106和/或VPU 108检测，和/或可以由在电路中与IMU 104、AC 106和/或VPU 108的传感器接口连接的智能传感器中提供的监视电路检测。例如，可以向IMU104、AC 106和/或VPU 108提供(例如，周期性地或非周期性地)少量功率(例如，约2毫瓦)，以处理来自对应传感器的传感器数据以识别触发特征。替代地，可将少量功率(例如，约2毫瓦)提供(例如，周期性地或非周期性地)到智能传感器中的监视电路，使得监视电路可以分析由传感器生成的传感器数据以识别触发特征。在这样的示例中，在检测到触发特征时，传感器可以向对应的传感器子系统(例如，IMU 104、AC 106和/或VPU 108)发送外部中断，以唤醒传感器子系统并发起在多个功率水平操作状态层级300的不同功率状态之间的转换。
功率状态转换的示例使用场景涉及穿戴移动相机100、204的人。当人不活动时(例如，站立、坐下或睡觉)，由于移动相机100、204未检测到与人相关联的任何运动，移动相机100、204可以进入复位状态302。然而，当人移动时，移动相机100、204可以基于移动相机100、204检测到的运动量来递增地进入较高功率状态(例如，运动特征检测状态304、音频特征检测状态306等)。例如，人可以开始行走，这使得移动相机100、204进入音频特征检测状态306并且开始分析表示周围语音、声音、噪声等的音频传感器数据，和/或在某一点移动相机100、204可以转换到低分辨率相机特征检测状态308以分析周围区域的低分辨率视觉捕获。在音频特征检测状态306中，移动相机100、204可以通过识别语音来监视例如其他人的存在。在示例低分辨率相机特征检测状态308中，移动相机100、204可以基于视觉确认来监视例如其他人或其他感兴趣的特征的存在。在一些示例中，移动相机100、204可以跳过一个或多个操作状态以沿着多功率水平操作状态层级300移动到较高或较低功率状态。例如，在运动特征检测状态304中检测跑步运动可以使得移动相机100、204从运动特征检测状态304转换到低分辨率相机特征检测状态308和/或视频捕获状态316。在这样的示例中，低分辨率特征检测状态308可以用于分析携带移动相机100、204的人可能由于跑步活动而快速接近的远距离对象的图像。由于远处对象的距离和/或由于在跑步时生成的风噪、呼吸噪、鞋噪或摩擦声噪，低分辨率特征检测状态308将比音频特征检测状态306更适于检测。示例视频捕获状态316可以在这种检测到的跑步期间被激活以出于安全目的记录视频和/或如果人已经将移动相机100、204预配置为出于个人视频目的来记录跑步而记录视频。当跑步活动停止时，移动相机100、204可以通过跳过多个功率水平操作状态层级300中的多个操作状态而向下转换(例如，从视频捕获状态316直接转换到复位状态302)。
在图3的示例多功率水平操作状态层级300中，在从复位状态302唤醒事件期间，移动相机100、204可以向IMU 104(图1A)的运动传感器接口提供少量的电功率，以经由移动相机100、204的一个或多个运动传感器接收运动传感器数据。在运动特征检测状态304中，示例IMU 104可以测量或分析由运动传感器数据表示的运动活动，以识别运动特征触发。例如，运动特征触发可以是运动活动的阈值量，其使得移动相机100、204保持在运动特征检测状态304或转换到音频特征检测状态306。当IMU 104在运动特征检测状态304期间没有检测到一定量的阈值运动活动以保持在运动特征检测状态304或进入音频特征检测状态306时，移动相机100、204返回到复位状态302。在一些示例中，当IMU 104检测到第一阈值运动活动量时，移动相机100、204停留在运动特征检测状态304，并且当IMU 104检测到第二阈值运动活动量时，进入音频特征检测状态306。例如，第一阈值运动活动量可以是保证停留在运动特征检测状态304中以继续监视运动活动的足够的活动，该运动活动可能导致满足第二阈值运动活动量以转换到音频特征检测状态306。阈值运动活动量可以是运动的幅度和/或运动的持续时间。
在示例音频特征检测状态306中，移动相机100、204向音频编解码器106提供功率以从例如麦克风接收音频传感器数据。以此方式，移动相机100、204可以分析音频传感器数据以识别音频特征触发(例如，语音、声音、噪声、犬吠、猫叫声、开门声、关门声、汽车引擎声音等)。在一些示例中，音频特征触发基于音频信号的变化率(例如，突发声音特征)。在移动相机100、204监视人的存在的一些示例中，当移动相机100、204识别特定语音(例如，基于语音识别的词语和/或短语)和/或识别特定说话者(例如，基于说话者识别)时，移动相机100、204转换到低分辨率相机特征检测状态308。
在示例低分辨率相机特征检测状态308中，移动相机100、204对VPU 108(图1A和图1B)的相机接口供电，以从低分辨率相机102a、102b(图1A和图1B)接收低分辨率视觉捕获。在一些示例中，低分辨率相机102a、102b被提供有运动检测能力。以这种方式，VPU 108可以保持在低功率状态，直到低分辨率相机102a、102b检测到阈值量的视觉运动(例如，视觉特征触发器)为止，阈值量的视觉运动保证通知VPU 108转换到较高功率操作状态。检测足够的视觉运动可以基于是否存在足够的照明来捕获具有足够的周围可见性的图像以由VPU108充分处理。在这样的示例中，当照明低时，移动相机100、204可以保持在低分辨率相机特征检测状态308中或返回到音频特征检测状态306。这样，移动相机100、204可以通过限制对VPU 108的供电直到低分辨率相机102a、102b检测到视觉特征触发为止来节省电池功率。
当示例低分辨率相机102a、102b检测到视觉特征触发时，移动相机100、204可以转换到计算机视觉处理特征检测状态310。在计算机视觉处理特征检测状态310中，VPU 108可以分析来自低分辨率相机102a、102b的视觉捕获，以检测人是否在低分辨率相机102a、102b的视觉接近度范围内。当来自低分辨率相机102a、102b的视觉捕获中的面部特征满足面部特征阈值时，移动相机100、204转换到CNN特征检测状态312。在示例CNN特征检测状态312中，VPU 108的示例CNN特征分析器114(图1A)对所检测测到的面部执行计算机视觉分析。示例CNN特征分析器114可以将检测到的面部与本地存储在移动相机100、204中和/或对应的移动电话主机设备202(图2)中的参考面部图像或参考面部元数据的数据库或字典进行比较。如果CNN特征分析器114确定检测到的面部与参考面部图像中的一个相匹配，则移动相机100、204可以访问服务器318(例如，经由图2的云系统206)以获得关于与检测到的面部相对应的人的信息。另外或替换地，移动相机100、204可以转换到示例高分辨率相机特征检测状态314以捕获与检测到的面部相对应的人的静止图像和/或可以转换到示例视频捕获状态316以捕获与检测到的面部相对应的人的视频。
在图3的所示示例中，在多功率水平操作状态层级300的不同状态之间的转换可以基于存储在移动相机100、204中和/或存储在对应的移动电话主机设备202(图2)中以供移动相机100、204访问的策略或规则。在一些示例中，用于在不同操作状态之间转换的策略使得移动相机100、204在大部分时间保持在复位状态302或相对较低功率操作状态(例如，运动特征检测状态304、音频特征检测状态306、低分辨率相机特征检测状态308)，使得移动相机100、204消耗相对较少的功率。然后，仅在需要收集高分辨率视觉捕获和/或经由无线通信访问外部服务时，移动相机100、204才可以不时地转换到有助于相对较高功耗的操作状态。通过仅在短持续时间内转换到这样的较高功率操作状态，本文公开的示例使得能够在大多数时间保持较高功耗子系统(例如，图1A和图1B的高分辨率相机102c、102d以及图1A和图1B的无线通信接口110)关闭，直到需要在这样的较高功率操作状态中使用。以这种方式，移动相机100、204可以在电池充电或电池更换之间使用相对长的时间(例如，数天或数周)。
在一些示例中，移动相机100、204使用图3的不同状态，以基于剩余电池电量和期望的剩余操作时间在不同操作状态之间调整其操作。例如，当移动相机100、204的剩余电池电量低并且期望的剩余操作持续时间需要的功率使用少于较高功率状态中可能的功率使用时，移动相机100、204进入电池关键模式并且在较低功率状态(例如，运动特征检测状态304、音频特征检测状态306、低分辨率相机特征检测状态308)下操作而不进入较高功率状态。以这种方式，移动相机100、204可以继续监视其周围环境以获得感兴趣的特征，并且可以继续收集和存储这样的感兴趣的特征的出现而不进入较高功率状态。例如，在电池关键模式中，移动相机100、204可以将低分辨率相机特征检测状态308定义为最大状态，并且使用低分辨率相机特征检测状态308来收集视觉捕获，而不是转换到高分辨率相机特征检测状态314。
在电池关键模式中，也可以适配用于在图3的不同操作状态之间转换的策略，使得移动相机100、204以更加节能的方式操作。例如，当移动相机100、204不处于电池关键模式时，从运动特征检测状态304转换到音频特征检测状态306的策略可以是IMU 104必须检测任何方向上的任何运动，而当在电池关键模式下操作时，从运动特征检测状态304转换到音频特征检测状态306的策略可以改变，以要求例如90度、180度等方向上检测到的改变。以这种方式，为了在电池关键模式期间进一步节省功率，移动相机100、204可保持在较低功率状态中，除非其检测到比不在电池关键模式中操作时将需要的特征触发相对更显著的特征触发。
尽管图3的示例多功率水平操作状态层级300的不同操作状态以特定顺序示出，但用于在不同操作状态之间转换的策略可定义用于在不同操作状态之间转换的不同顺序。例如，由IMU 104检测到的少量运动可以满足低运动特征检测阈值以从运动特征检测状态304转换到音频特征检测状态306，而由IMU 104检测到的更显著的运动量可以满足高运动特征检测阈值以从运动特征检测状态304转换到低分辨率相机特征检测状态308。另外，尽管图3的示例多功率水平操作状态层级300示出了在唤醒事件期间从复位状态302到运动特征检测状态304的转换，但是可以替代地应用不同的唤醒策略，以在这样的唤醒事件期间将移动相机100、204从复位状态302转换到音频特征检测状态306，和/或同时从复位状态302转换到运动特征检测状态304和音频特征检测状态306。类似地，在其他示例中，移动相机100、204可以被提供有策略，该策略定义从一个操作状态同时到多个操作状态的转换和/或从移动相机100、204同时操作的多个操作状态到单个操作状态的转换。用于控制操作状态和/或在操作状态之间的转换的策略可以是用户定义的(例如，经由图2的移动电话主机设备202)和/或系统定义的(例如，由开发者或制造商编程和/或存储在配置文件中)。
另外，图3的示例多功率水平操作状态层级300可被修改以包括比图3所示的那些更少或更多和/或不同的操作状态，在一些示例中，在多功率水平操作状态层级300中重新布置相对应传感器的操作状态和激活，使得沿多功率水平操作状态层级300的转换导致相应传感器的不同激活顺序。例如，低分辨率相机特征检测状态308、高分辨率相机特征检测状态314和示例视频捕获状态316可被重新布置，使得这些状态中的每一个沿着多个功率水平操作状态层级300被激活的次序是不同的。例如，在低分辨率相机特征检测状态308期间激活低分辨率相机102a-b之前，可以在高分辨率相机特征检测状态314期间激活高分辨率相机102c、102d中的一个或多个。在一些示例中，多功率水平操作状态层级300的操作状态的排序是静态的且不可改变的。在其他示例中，多功率水平操作状态层级300的操作状态的排序是动态的，使得它可以使用例如策略定义来改变。
图5A和图5B描述了图1A和图1B的VPU 108的示例框图，其可以被用来实现图1A、图1B和图2的移动相机100、204，以在图3的示例多功率水平操作状态层级300的不同功率水平操作状态下操作。图5A的所示示例示出了在电路中与VPU 108连接的低分辨率相机102a、IMU 104、音频编解码器106和高分辨率相机102c。为了执行运动分析、音频分析和计算机视觉分析，如下所述，示例VPU 108被提供有多个示例CNN特征分析器(例如，在图1A中被表示为CNN特征分析器114)。示例CNN特征分析器使用卷积神经网络来实现，该卷积神经网络可以被训练以检测或识别由IMU 104、音频编解码器106和相机102a-d提供的传感器数据(例如，运动数据、音频数据、视觉捕获等)中的不同特征(例如，运动、音频、语音、词语、人、面部、物体等)。例如，示例CNN特征分析器通过运动分析算法、音频分析算法、计算机视觉算法(例如，图1A的CV算法116)训练以检测或识别传感器数据中的特征，以生成表示可以确认传感器数据中的不同特征的可能性的概率。以这种方式，示例CNN特征分析器可以基于满足特征概率阈值的那些特征的概率来生成对感兴趣特征的存在的确认。
为了在运动特征检测状态304(图3)期间执行运动分析，示例VPU 108被提供有在电路中与IMU 104连接的示例运动特征检测器502，以及在电路中与运动特征检测器502连接的示例CNN运动活动识别器504。提供示例运动特征检测器502以通过从IMU 104接收运动传感器数据并且对运动传感器数据执行运动特征检测分析以检测移动相机100、204的移动来检测移动相机100、204的运动活动。在所示示例中，示例运动特征检测器502由图1A的DSP118实现，并且运动传感器数据是原始运动传感器数据，其表示由在电路中与IMU 104连接的运动传感器158(图1B)检测到的运动或移动的幅度和方向。当示例运动特征检测器502检测到具有足够幅度和/或足够持续时间以满足运动特征触发阈值的运动时，运动特征检测器502向CNN运动活动识别器504发送运动检测确认。另外，运动检测确认使得VPU 108转换到下一个较高功率操作状态(例如，图3和图4的音频特征检测状态306)。
示例CNN运动活动识别器504分析运动传感器数据以识别CNN运动活动识别器504被训练以识别的特定的基于运动的活动类型。可以被训练到CNN运动活动识别器504中的示例的基于运动的活动类型包括跑步、跳跃、爬楼梯、跳绳、休息、乘汽车、乘火车等。示例CNN运动活动识别器504输出在图5A的示例中示出的不同的所识别的活动类型的对应的运动元数据作为活动(1)至活动(n)。在所示示例中，运动元数据由CNN运动活动识别器504生成以描述运动传感器数据中识别的运动的类型(例如，跑步、跳跃、爬楼梯、跳绳、休息、乘汽车、乘火车等)。在所示示例中，CNN运动活动识别器504通过访问来自本地参考运动元数据库或参考运动元数据数据库的元数据来生成运动元数据，本地参考运动元数据库或参考运动元数据数据库存储与对应的参考运动特征定义相关联的元数据项。为了检索运动元数据，CNN运动活动识别器504可以将来自运动传感器数据的运动特征与本地参考运动元数据库或参考运动元数据数据库中的参考运动特征定义进行比较。在一些示例中，扩展的参考运动元数据库或参考运动元数据数据库可以存储在云系统206处，并且由CNN运动活动识别器504使用用于这样的基于云的库或数据库的应用编程接口(API)来访问。示例的所识别的活动(1)至活动(n)使得VPU 108转换到完全唤醒状态。在所示示例中，运动活动多路复用器506接收所识别的活动(1)至活动(n)的运动元数据，并将如由附图标记508一般性地指示的运动元数据提供给示例完全唤醒事件多路复用器510。
为了在音频特征检测状态306(图3)期间执行音频分析，示例VPU 108被提供有在电路中与音频编解码器106连接的示例音频特征检测器514、在电路中与音频特征检测器514连接的示例语音活动检测器516、在电路中与语音活动检测器516连接的示例CNN唤醒词识别器518、以及在电路中与CNN唤醒词识别器518连接的示例CNN命令词识别器520。提供示例音频特征检测器514以通过从音频编解码器106接收音频传感器数据并且对音频传感器数据执行音频特征检测分析来检测移动相机100、204附近的音频活动。在所示示例中，示例音频特征检测器514由图1A的DSP 118实现，并且音频传感器数据是原始音频波形数据，其表示由在电路中与音频编解码器106连接的麦克风162(图1B)所感测的音频。当示例音频特征检测器514检测到具有足够幅度和/或足够持续时间以满足音频特征触发阈值的音频时，音频特征检测器514向语音活动检测器516发送声音检测确认。在一些示例中，当音频特征检测器514检测到音频信号的特定变化率(例如，突发声音特征)时，满足特征触发阈值。声音检测确认确认了音频传感器数据中应当由VPU 108进一步分析的声音的存在。在所示示例中，声音可以是任何声音或噪声(例如，语音、掌声、动物声音、汽车喇叭、枪声等)。示例语音活动检测器516使用语音特征检测分析来分析音频传感器数据以确定其任何部分是否表示人的语音。例如，音频传感器数据可以是环境噪声或不是人的语音的声音的音频采样和/或可以是具有或不具有背景噪声或声音的人的语音的音频采样。在任何情况下，当检测到语音时，示例语音活动检测器516向CNN唤醒词识别器518发送语音检测的确认。
示例CNN唤醒词识别器518分析音频传感器数据以识别CNN唤醒词识别器518被训练以基于语音识别算法识别的特定唤醒词。可以被训练到CNN唤醒词识别器518中的示例唤醒词包括人名、家、汽车、外部、内部、请、想要、收听、唤醒、记录、捕获、视频、你好、Hi、相机打开、相机关闭、帮助等。在一些示例中，还可以定义唤醒短语。当检测到唤醒词时，示例CNN唤醒词识别器518向CNN命令词识别器520发送唤醒词检测确认。
在所示示例中，CNN唤醒词识别器518还生成与所分析的音频传感器数据相对应的音频元数据。这种音频元数据可以是讲话者的姓名、讲话者的年龄、讲话者的性别、所讲命令的类型等。在所示示例中，CNN唤醒词识别器518通过访问来自本地参考音频元数据库或参考音频元数据数据库的元数据来生成音频元数据，本地参考音频元数据库或参考音频元数据数据库存储与对应的参考音频特征定义相关联的元数据项。为了检索音频元数据，CNN唤醒词识别器518可以将来自音频传感器数据的音频特征与本地参考音频元数据库或参考音频元数据数据库中的参考音频特征定义进行比较。在一些示例中，扩展的参考音频元数据库或参考音频元数据数据库可以被存储在云系统206处，并且由CNN唤醒词识别器518使用用于这样的基于云的库或数据库的API来访问。
示例CNN命令词识别器520分析音频传感器数据以识别CNN命令词识别器520被训练以基于语音识别算法识别的特定命令词。在所示示例中，命令词是唤醒词的子集，使得唤醒词使移动相机100、204转换到较高功率操作状态(例如，图3和图4的低分辨率相机特征检测状态308)，但是仅唤醒词的子集也被定义为命令词，该命令词使移动相机100、204转换到完全唤醒状态和/或执行相对应操作。可被训练到CNN命令词识别器520中的示例命令词包括唤醒、记录、捕获、相机打开、相机关闭、帮助等。示例CNN命令词识别器520输出在图5A的示例中示出的不同的所识别的命令词的对应音频元数据作为命令(1)至命令(n)。在所示示例中，命令词多路复用器522接收所识别的命令(1)至命令(n)的音频元数据，并将如由附图标记524一般性地指示的音频元数据提供给示例完全唤醒事件多路复用器510。
为了在低分辨率相机特征检测状态308(图3)期间执行低分辨率图像分析，示例VPU 108被提供有在电路中与低分辨率相机102a连接的示例图像特征检测器528、在电路中与图像特征检测器528连接的示例CNN面部检测器530、在电路中与CNN面部检测器530连接的示例CNN唤醒面部识别器532、以及在电路中与CNN唤醒面部识别器532连接的示例CNN面部识别器534。提供示例图像特征检测器528以通过从低分辨率相机102a接收低分辨率视觉捕获并且对低分辨率视觉捕获执行图像特征检测分析来检测移动相机100、204附近的可见活动。在所示示例中，示例图像特征检测器528由图1A的DSP 118实现，且视觉捕获呈像素数据(例如，多位色彩像素数据或多位黑白像素数据)的形式。在一些示例中，当低分辨率相机102a已经执行预处理特征检测过程以识别是否检测到感兴趣区域(RoI)事件时，低分辨率相机102a仅将视觉捕获数据提供给图像特征检测器528。当在视觉捕获中存在足够的照明以辨别视觉捕获中的视觉可检测特征(例如，不仅仅是完全饱和的暗图像)时，可发生这样的RoI事件。
当示例图像特征检测器528从低分辨率相机102a接收视觉捕获并且检测到具有足够视觉清晰度和/或足够持续时间以满足视觉特征触发阈值的视觉特征时，图像特征检测器528将图像检测确认发送到CNN面部检测器530。图像检测确认确认了在低分辨率视觉捕获中存在应当由VPU 108进一步分析的足够的视觉特征。在所示的示例中，视觉特征可以是任何感兴趣的视觉特征(例如，物体、人、车辆、牌照、标志等)。示例CNN面部检测器530使用面部特征检测分析来分析低分辨率视觉捕获以确定其任何部分是否表示面部。例如，低分辨率视觉捕获可以包括不是人的面部的视觉特征和/或可以包括表示具有或不具有其他视觉特征的人的面部的视觉特征。在任何情况下，当检测到面部时，示例CNN面部检测器530向CNN唤醒面部识别器532发送面部检测的确认。
示例CNN唤醒面部识别器532分析低分辨率视觉捕获以识别CNN唤醒面部识别器532被训练以基于计算机视觉算法(例如，图1A的计算机视觉算法116)识别的特定唤醒面部。可以被训练到CNN唤醒面部识别器532中的示例唤醒面部可以被存储到本地参考面部元数据库或参考面部元数据数据库中，本地参考面部元数据库或参考面部元数据数据库存储与面部的对应参考面部图像或对应参考特征向量相关联的元数据。CNN唤醒面部识别器532可以通过将低分辨率视觉捕获中的面部的基于像素的图像或特征向量与本地参考图像元数据库或参考图像元数据数据库中的参考视觉特征定义(例如，参考面部图像或参考特征向量)进行比较来确认低分辨率视觉捕获中感兴趣面部的存在。在一些示例中，扩展的参考图像元数据库或参考图像元数据数据库可以存储在云系统206处，并且由CNN唤醒面部识别器532使用用于这样的基于云的库或数据库的API来访问。当检测到唤醒面部时，示例CNN唤醒面部识别器532向CNN面部识别器534发送唤醒面部检测确认。在所示示例中，CNN唤醒面部识别器532还使用本地参考图像元数据库或参考图像元数据数据库和/或从云系统206处的扩展参考图像元数据库或参考图像元数据数据库来生成与检测到的面部相对应的面部元数据。这种面部元数据可以是人的姓名、人的年龄、人的性别等。
示例CNN面部识别器534分析视觉捕获以识别CNN面部识别器534被训练以基于计算机视觉算法116识别的特定面部。对这种特定面部的识别使得移动相机100、204转换到完全唤醒状态。在所示示例中，由CNN唤醒面部识别器532和CNN面部识别器534识别的面部是由CNN面部检测器530检测的面部的子集，使得由CNN面部检测器530检测的面部使移动相机100、204转换到较高功率操作状态(例如，图3和图4的高分辨率相机特征检测状态314)，但是仅所检测面部的子集使移动相机100、204转换到完全唤醒状态。示例CNN面部识别器534输出在图5A的示例中示出的不同的所识别的面部的对应的面部元数据作为面部(1)至面部(n)。在所示示例中，所识别面部多路复用器536接收所识别的面部(1)至面部(n)的面部元数据，并且将如由附图标记538一般地指示的面部元数据提供给示例完全唤醒事件多路复用器510。
为了执行高分辨率图像分析，示例VPU 108被提供有示例CNN物体对象识别器542，其在电路中与高分辨率相机102c连接。提供示例CNN对象识别器542来通过分析来自高分辨率相机102c的高分辨率视觉捕获以识别特定对象来识别移动相机100、204附近的对象，由CNN对象识别器542被训练以基于计算机视觉算法116来识别该特定对象。对这样的对象的识别使得移动相机100、204转换到完全唤醒状态。在所示示例中，CNN对象识别器542通过访问来自本地参考对象元数据库或参考对象元数据数据库的元数据来生成对象元数据，本地参考对象元数据库或参考对象元数据数据库存储与对应的参考对象特征定义相关联的元数据项。示例对象元数据包括对象的类别(例如，人、动物、自然特征、建筑物、车辆等)、车辆(例如，类型、制造、型号、颜色等)、牌照(例如，注册州、车牌号等)等。为了检索对象元数据，CNN对象识别器542可以将来自高分辨率视觉捕获的对象特征与本地参考对象元数据库或参考对象元数据数据库中的参考对象特征定义进行比较。在一些示例中，扩展的参考对象元数据库或参考对象元数据数据库可以被存储在云系统206处，并且由CNN对象识别器542使用用于这样的基于云的库或数据库的API来访问。示例CNN对象识别器542输出在图5A的示例中示出的不同的所识别对象的对应对象元数据作为对象(1)至对象(n)。在所示示例中，所识别的对象多路复用器544接收所识别的对象(1)至对象(n)的对象元数据，并将如由附图标记546一般性指示的对象元数据提供给示例完全唤醒事件多路复用器510。
在图5A的所示示例中，VPU 108被提供有触发特征多路复用器554，其具有可由VPU108控制的事件选择线556，以配置如上所述由VPU 108的组件提供的哪些元数据将使得移动相机100、204在图3的示例多功率水平操作状态层级300的不同操作状态之间进行转换。例如，如图5B所示，为了提供基于元数据的唤醒事件以在不同的操作状态之间进行转换，VPU 108被提供有示例上电复位(POR)状态转换器562、示例始终开启(AoN)状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和示例完全活动状态转换器572。在所示的示例中，上电复位状态转换器562生成唤醒事件以将移动相机100、204从图3和图4的复位状态302转换出来。所示示例的AoN状态转换器564基于低分辨率相机102a(图5A)被供应最小电功率以执行预处理特征检测过程来识别是否检测到感兴趣区域(RoI)事件，而生成唤醒事件以将移动相机100、204从低分辨率相机特征检测状态308转换出来。初级事件状态转换器566、次级事件状态转换器568和三级事件状态转换器570基于来自由VPU 108经由触发特征多路复用器554的事件选择线556选择的VPU108的不同组件的运动特征、音频特征和/或视觉特征的不同组合来生成唤醒事件，以在图3和图4的运动特征检测状态304、音频特征检测状态306、低分辨率相机特征检测状态308、计算机视觉处理特征检测状态310、CNN特征检测状态312、高分辨率相机特征检测状态314和/或视频捕获状态316中的不同状态之间转换移动相机100、204。在一些示例中，可以向VPU108提供更多或更少的事件状态转换器。在一些示例中，为图3和图4的运动特征检测状态304、音频特征检测状态306、低分辨率相机特征检测状态308、计算机视觉处理特征检测状态310、CNN特征检测状态312、高分辨率相机特征检测状态314和视频捕获状态316中的每一个提供单独的状态转换器。
在图5A的所示示例中，向完全唤醒事件多路复用器510提供元数据选择线576，元数据选择线576可由VPU 108配置来选择与使移动相机100、204转换到完全唤醒状态的所识别的运动活动、所识别的命令词、所识别的面部和所识别的对象相对应的输入元数据的不同组合。例如，基于对元数据选择线576的选择和到示例完全唤醒事件多路复用器510的输入元数据，完全唤醒事件多路复用器510提供元数据输出550。将元数据输出550提供给完全活动状态转换器572(图5B)，以使得VPU 108完全唤醒移动相机100、204。在所示的示例中，当处于完全唤醒状态时，VPU 108使得通信子系统和无线通信接口110(图1A和图1B)能够将元数据输出550(例如，由附图标记508、524、538和/或546一般地指示的元数据)发送到对应的移动电话主机设备202和/或云系统206(图2)。示例元数据输出550可以包括在完全唤醒事件多路复用器510处接收的一个或多个元数据。例如，基于对完全唤醒事件多路复用器510的元数据选择线576的控制，元数据输出550可以包括与所识别的运动活动、所识别的命令词、所识别的面部和/或所识别的对象相对应的输入元数据中的一个或多个。
图5C描述了示例状态顺序配置器582，其可以与图5A和图5B中描述的VPU 108一起使用，以配置图3的示例多功率水平操作状态层级300的不同功率水平操作状态的顺序。示例状态顺序配置器582布置和/或重新布置多个功率水平操作状态层级300中对应传感器的操作状态和激活，使得示例状态转换器566、668、570、572沿多功率水平操作状态层级300在操作状态和对应传感器之间引起不同的转换顺序。例如，为了实现操作状态的这种排序，状态顺序配置器582被提供有可配置逻辑电路，以将来自图5A的触发特征多路复用器554的输入中的不同输入引导到示例状态转换器566、668、570、572中的不同状态转换器。在一些示例中，状态顺序配置器582基于来自触发特征多路复用器554的输入来重新排序示例多功率水平操作状态层级300的不同功率水平操作状态的顺序。例如，当在短的阈值持续时间内检测到事件的组合时，状态顺序配置器582可控制在触发特征多用复用器554与示例状态转换器566、668、570、572中的不同状态转换器之间的路径，以转换到与如果未检测到这样的事件组合或者如果检测到不同的事件组合则将转换的功率水平操作状态不同的功率水平操作状态。例如，响应于高速移动(例如，驾驶汽车)的检测和刺耳声音(例如，轮胎打滑)的同时检测，状态顺序配置器582可控制在触发特征多路复用器554与示例状态转换器566、668、570、572中的不同状态转换器之间的路径，以从示例运动特征检测状态304转换到示例视频捕获状态316。这对于捕获即将发生的车辆事故的视频可能是有用的。
在所示示例中，状态顺序配置器582使得多功率水平操作状态层级300的操作状态的顺序能够动态地修改。在一些示例中，这样的修改是基于策略定义的。在这些示例或其他示例中，使用固件、软件和/或控制寄存器来实现这些修改。在一些示例中，状态顺序配置器582使得移动相机100、204能够跳过一个或多个操作状态以沿着多功率水平操作状态层级300移动到更高或更低的功率状态。
尽管在图1A、图1B、图2、图5A、图5B和图5C中示出了实现移动相机100、204和VPU108的示例方式，但是可以以任何其他方式来组合、划分、重新布置、省略、消除和/或实现图1A、图1B、图2、图5A、图5B和图5C中示出的一个或多个要素、过程和/或设备。此外，图1A的示例CNN特征分析器114、示例计算机视觉算法116和/或示例数字信号处理器118，图5A的示例运动特征检测器502、示例CNN运动活动识别器504、示例运动活动多路复用器506、示例完全唤醒事件多路复用器510、示例音频特征检测器514、示例语音活动检测器516、示例CNN唤醒词识别器518、示例CNN命令词识别器520、示例命令词多路复用器522、示例图像特征检测器528、示例CNN面部检测器530、示例CNN唤醒面部识别器532、示例CNN面部识别器534、示例所识别面部多路复用器536、示例CNN对象识别器542和/或示例触发特征多路复用器554，图5B的示例POR状态转换器562、示例AoN状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和/或示例完全活动状态转换器572，和/或图5C的示例状态顺序配置器582，更一般地，和/或示例移动相机100、204和/或VPU108可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，任何的图1A的示例CNN特征分析器114、示例计算机视觉算法116和/或示例数字信号处理器118，图5A中的示例运动特征检测器502、示例CNN运动活动识别器504、示例运动活动多路复用器506、示例完全唤醒事件多路复用器510、示例音频特征检测器514、示例语音活动检测器516、示例CNN唤醒词识别器518、示例CNN命令词识别器520、示例命令词多路复用器522、示例图像特征检测器528、示例CNN面部检测器530、示例CNN唤醒面部识别器532、示例CNN面部识别器534、示例所识别面部多路复用器536、示例CNN对象识别器542和/或示例触发特征多路复用器554，图5B的示例POR状态转换器562、示例AoN状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和/或示例完全活动状态转换器572，和/或图5C的示例状态顺序配置器582，更一般地，和/或示例移动相机100、204和/或VPU 108可以由一个或多个模拟或数字电路、逻辑电路、可编程处理器、可编程控制器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)来实现。当阅读本专利的任何装置或系统权利要求以覆盖纯软件和/或固件实现时，图1A的示例CNN特征分析器114、示例计算机视觉算法116和/或示例数字信号处理器118、图5A的示例运动特征检测器502、示例CNN运动活动识别器504、示例运动活动多路复用器506、示例完全唤醒事件多路复用器510、示例音频特征检测器514、示例语音活动检测器516、示例CNN唤醒词识别器518、示例CNN命令词识别器520、示例命令词多路复用器522、示例图像特征检测器528、示例CNN面部检测器530、示例CNN唤醒面部识别器532、示例CNN面部识别器534、示例所识别面部多路复用器536、示例CNN对象识别器542和/或示例触发特征多路复用器554，图5B的示例POR状态转换器562、示例AoN状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和/或示例完全活动状态转化器572，和/或图5C的示例状态顺序配置器582中的至少一个在此明确地定义为包括非暂时性计算机可读存储设备或存储盘(例如，存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等)，包括软件和/或固件。此外，除了图1A、图1B、图2、图5A、图5B和图5C中所示的那些要素、过程和/或设备之外，或者作为其替代，示例移动相机100、204和/或VPU 108还可以包括一个或多个要素、过程和/或设备，和/或可以包括多于一个的任何或所有所示要素、过程和设备。如本文所使用的，短语“通信中”包括其变型，涵盖通过一个或多个中间组件的直接通信和/或间接通信，并且不需要直接物理(例如，有线)通信和/或持续通信，而是另外包括在周期性间隔、调度间隔、非周期性间隔和/或一次性事件处的选择性通信。
在本文公开的一些示例中，用于识别传感器数据中的特征的装置可以使用图1A的CNN特征分析器114，图5A的示例CNN运动活动识别器504、示例CNN唤醒词识别器518、示例CNN命令词识别器520、示例CNN唤醒面部识别器532、示例CNN面部识别器534和/或示例CNN对象识别器542中的一个或多个来实现。在本文公开的一些示例中，可以使用图5B的示例POR状态转换器562、示例AoN状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和/或示例完全活动状态转换器572中的一个或多个来实现用于在不同特征检测状态(例如，图3和图4的运动特征检测状态304、音频特征检测状态306、低分辨率相机特征检测状态308、计算机视觉处理特征检测状态310、CNN特征检测状态312、高分辨率相机特征检测状态314和/或视频捕获状态316)之间转换移动相机100、204的装置。在本文公开的一些示例中，用于通信的装置可以由图1A和图1B的无线通信接口110和/或由图7的接口电路720实现。在一些实例中，用于检测特征的装置可由图5A的运动特征检测器502、音频特征检测器515和/或图像特征检测器528中的一个或多个实现。在本文公开的一些示例中，用于配置操作状态顺序的装置可以由图5C的示例状态顺序配置器582实现。
图6中示出了表示用于实现图1A、图1B、图2、图5A、图5B和图5C的移动相机100、204和/或VPU 108的示例硬件逻辑或机器可读指令的流程图，机器可读指令可以是用于由处理器(例如，下面结合图7讨论的示例处理器平台700中所示的VPU 108和/或处理器712)执行的程序或程序的一部分。程序可以体现在存储在非暂时性计算机可读存储介质(例如，CD-ROM、软盘、硬盘驱动器、DVD、蓝光盘或与处理器712相关联的存储器)上的软件中，但是整个程序和/或其部分可以替代地由除了处理器712之外的设备执行和/或体现在固件或专用硬件中。此外，尽管参考图6中所示的流程图描述了示例程序，但是可以替换地使用实现示例移动相机100、204和/或VPU 108的许多其他方法。例如，可以改变框的执行顺序，和/或可以改变、消除或组合所描述的框中的一些。另外或替代地，任何或所有框可由一个或多个硬件电路(例如，离散和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)来实现，该硬件电路被构造为执行相应的操作，而不执行软件或固件。
如上所述，图6的示例过程可以使用存储在非暂时性计算机和/或机器可读介质(例如，硬盘驱动器、闪存存储器、只读存储器、光盘、数字通用盘、高速缓存、随机存取存储器和/或其中信息被存储任意持续时间(例如，延长时间段、永久地、短暂地、暂时缓冲和/或信息的高速缓存)的任意其他存储设备或存储盘)上的可执行指令(例如，计算机和/或机器可读指令)来实现。如本文所使用的，术语非暂时性计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号和排除传输介质。
术语“包括”和“包含”(及其所有形式和时态)在本文用作开放式术语。因此，无论何时权利要求采用任何形式的“包括”或“包含”(例如，包含、包括、具有等)作为前序或在任何种类的权利要求叙述内，应理解，可存在额外要素、术语等而不落在对应权利要求或叙述的范围之外。如本文所用，当短语“至少”用作例如权利要求的前序部分中的过渡术语时，其以与术语“包含”和“包括”为开放式的相同方式为开放式的。术语“和/或”当例如以诸如A、B和/或C的形式使用时，是指A、B、C的任何组合或子集，例如，(1)单独的A、(2)单独的B、(3)单独的C、(4)A与B、(5)A与C和(6)B与C。
详细转到图6，示例程序在第一特征检测状态与第二特征检测状态之间转换移动相机100、204。特征检测状态可以是图3的示例多功率水平操作状态层级300的任何操作状态，因此，图6中表示的示例操作可以由与图6的示例程序所用于的特征检测状态相对应的图1A、图1B、图5A、图5B和/或图5C的移动相机100、204和/或VPU108的任何组件来执行。
图6的程序开始于框602，在框602示例VPU 108(图1A、图1B、图6A和图6B)访问传感器数据。例如，传感器数据可以是从图5A的运动特征检测器502、音频特征检测器514和/或图像特征检测器528获得的运动传感器数据、音频传感器数据和/或视觉捕获数据。示例VPU108确定是否已经在传感器数据中检测到感兴趣特征(框604)。在一些示例中，运动特征检测器502分析具有足够幅度和/或足够持续时间的运动特征的传感器数据，以满足运动特征触发阈值。在一些示例中，音频特征检测器514分析具有足够幅度和/或足够持续时间的音频特征的传感器数据，以满足音频特征触发阈值。在一些示例中，图像特征检测器528分析具有足够视觉清晰度和/或足够持续时间的视觉特征的传感器数据，以满足视觉特征触发阈值。如果在框604处没有检测到感兴趣的特征，则控制返回到块602以获得进一步的传感器数据以进行分析。
当VPU 108在框604处确定在传感器数据中检测到感兴趣特征时，示例VPU 108对传感器数据执行特征识别分析(框606)。在一些示例中，运动活动识别由CNN运动活动识别器504(图5A)执行。在一些示例中，词识别由CNN唤醒词识别器518和/或CNN命令词识别器520(图5A)执行。在一些示例中，面部识别由CNN唤醒面部识别器532和/或CNN面部识别器534(图5A)执行。示例VPU 108为传感器数据中的所识别特征生成对应的元数据(框608)。在一些示例中，CNN运动活动识别器504生成运动元数据。在一些示例中，CNN唤醒词识别器518和/或CNN命令词识别器520生成音频元数据。在一些示例中，CNN唤醒面部识别器532和/或CNN面部识别器534生成面部元数据。示例VPU 108确定是否将移动相机100、204转换到另一个操作状态(框610)。例如，对应于移动相机100、204的当前操作状态的状态转换器562、564、566、568、570或572(图5B)可基于在框606处识别的感兴趣特征是否满足保证这种状态转换的阈值来确定是否将移动相机100、204转换到另一操作状态。如果示例VPU 108在框610处确定不将移动相机100、204转换到另一操作状态，则控制返回到框602以获得进一步的传感器数据来分析。
当示例VPU 108在框610处确定将移动相机100、204转换到另一操作状态时，VPU108将移动相机100、204从当前特征检测状态转换到下一特征检测状态(框612)。例如，对应于移动相机100、204的当前操作状态的状态转换器562、564、566、568、570或572基于在框606处所识别的感兴趣特征将移动相机100、204从当前特征检测状态转换到下一特征检测状态。在一些示例中，与在框612的转换之前移动相机100、204操作的当前特征检测状态相比，下一特征检测状态有助于移动相机100、204的相对较高的功耗。在一些示例中，图5C的示例状态顺序配置器582通过控制或配置块612处发生转换的操作状态的顺序来有助于框612的实现。
示例VPU 108访问传感器数据(框614)。例如，对应于在框612处移动相机100、204转换到的操作状态的特征检测器502、514、528(图5A)获得对应的传感器数据。在VPU 108将移动相机100、204转换到高分辨率相机特征检测状态314和/或视频捕获状态316的示例中，CNN对象识别器542在框614处获得传感器数据。示例VPU 108确定是否已经在传感器数据中检测到感兴趣特征(框616)。例如，特征检测器502、514、528可以在框616处对传感器数据执行特征检测分析以确定感兴趣特征是否存在于传感器数据中。在涉及表示视觉捕获的传感器数据的一些示例中，图5A的CNN面部检测器530可以在图像特征检测器528在传感器数据中检测到感兴趣的视觉特征之后，在框616处对传感器数据执行特征检测分析。在涉及包括音频数据的传感器数据的一些示例中，图5A的语音活动检测器516可以在音频特征检测器514检测到传感器数据中的感兴趣的音频特征之后，在框616处对传感器数据执行特征检测分析。如果在框616处没有检测到感兴趣的特征，则控制返回到框614以获得进一步的传感器数据来分析。在一些示例中，在VPU 108在框616处没有检测到传感器数据中的感兴趣特征的阈值持续时间或阈值次数之后，VPU 108可以将相机100、204转换回先前的操作状态，并且控制返回到框602。
当VPU 108在方框616处确定在传感器数据中检测到感兴趣的特征时，示例VPU108对传感器数据执行特征识别分析(框618)。在所示示例中，由对应于移动相机100、204当前操作的操作状态的图5A的CNN识别器504、518、520、532、534和/或542执行特征识别分析。示例VPU 108为传感器数据中的所识别特征生成对应的元数据(框620)。示例VPU 108确定是否向外部目的地发送所收集的信息(框622)。例如，VPU 108可以基于到完全唤醒事件多路复用器510(图5A)的输入来确定是否将在框620和/或框608处生成的元数据作为元数据输出550从移动相机100、204发送到对应的移动电话主机设备202(图2)、另一个移动相机100、204和/或云系统206(图2)。在一些示例中，VPU 108另外或替代地确定是否将来自框602和/或框614的传感器数据发送到外部目的地。如果VPU 108在方框622处确定不将所收集的信息发送到外部目的地，则控制返回到框614以访问进一步的传感器数据。
当示例VPU 108在方框622处确定要将所收集的信息发送到外部目的地时，VPU108启用无线通信接口110(图1A和图1B)(框624)。例如，完全活动状态转换器572(图5B)向无线通信接口110提供电源和/或将无线通信接口110的使能线设置成其活动状态。示例VPU108发送所收集的信息(框626)。例如，VPU 108可以将在方框620和/或方框608处生成的元数据和/或来自框602和/或框614的传感器数据从移动相机100、204发送到对应的移动电话主机设备202、另一个移动相机100、204和/或云系统206。在一些示例中，移动电话主机设备202和/或其他移动相机100、204继而向云系统206发送所收集的信息。图6的示例过程结束。
图7示出了被构造为执行图6的指令以实现图1A、图1B和图2的移动相机100、204和/或图1A、图1B、图5A、图5B和图5C的VPU 108的示例处理器平台700的框图。处理器平台700可以是例如相机、计算机、自学习机器(例如，神经网络)、移动设备(例如，蜂窝电话、智能电话、例如iPadTM的平板电脑)、个人数字助理(PDA)、互联网电器、数字视频记录器、游戏控制台、个人视频记录器、耳机或其他可穿戴设备、或者任何其他类型的计算设备。
所示示例的处理器平台700包括处理器712。所示示例的处理器712是硬件。例如，处理器712可以由一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或来自任何期望的系列或制造商的控制器来实现。硬件处理器712可以是基于半导体(例如，基于硅)的设备。在一些示例中，处理器712实现VPU 108。在该示例中，处理器实现图1A的示例CNN特征分析器114、示例计算机视觉算法116和/或示例数字信号处理器118，图5A的示例运动特征检测器502、示例CNN运动活动识别器504、示例运动活动多路复用器506、示例完全唤醒事件多路复用器510、示例音频特征检测器514、示例语音活动检测器516、示例CNN唤醒词识别器518、示例CNN命令词识别器520、示例命令词多路复用器522、示例图像特征检测器528、示例CNN面部检测器530、示例CNN唤醒面部识别器532、示例CNN面部识别器534、示例所识别面部多路复用器536、示例CNN对象识别器542和/或示例触发特征多路复用器554，图5B的示例POR状态转换器562、示例AoN状态转换器564、示例初级事件状态转换器566、示例次级事件状态转换器568、示例三级事件状态转换器570和/或示例完全活动状态转换器572，和/或图5C的示例状态顺序配置器582
所示示例的处理器712包括本地存储器713(例如，高速缓存)。所示示例的处理器712经由总线718与包括易失性存储器714和非易失性存储器716的主存储器通信。易失性存储器714可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、
Figure BDA0002582203840000331
动态随机存取存储器
Figure BDA0002582203840000332
和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器716可以由闪存存储器和/或任何其他期望类型的存储器设备来实现。对主存储器714、716的访问由存储器控制器控制。
所示示例的处理器平台700还包括接口电路720。接口电路720可以由任何类型的接口标准来实现，例如，以太网接口、通用串行总线(USB)、Wi-Fi接口、蓝牙接口、
Figure BDA0002582203840000333
接口、近场通信(NFC)接口和/或PCI高速接口。
在所示的示例中，一个或多个输入设备722连接到接口电路720。(多个)输入设备722允许用户将数据和/或命令输入到处理器712中。(多个)输入设备可以由例如音频传感器、麦克风、相机(静止或视频)、运动传感器、键盘、按钮、鼠标、触摸屏、跟踪板、跟踪球、isopoint和/或语音识别系统来实现。
一个或多个输出设备724也连接到所示示例的接口电路720。输出设备724可以例如由显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、平面转换(IPS)显示器、触摸屏等)、触觉输出设备、打印机和/或扬声器来实现。因此，所示示例的接口电路720通常包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
所示示例的接口电路720还包括通信设备，例如，发射机、接收机、收发机、调制解调器、住宅网关、无线接入点和/或网络接口，以便于经由网络726与外部机器(例如，任何种类的计算设备)交换数据。通信可以经由例如以太网连接、数字用户线(DSL)连接、电话线连接、同轴电缆系统、卫星系统、站点线无线系统、蜂窝电话系统等。
所示示例的处理器平台700还包括用于存储软件和/或数据的一个或多个大容量存储设备728。此类大容量存储装置728的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统及数字通用盘(DVD)驱动器。
代表图6的示例机器可读指令的机器可执行指令732可以存储在大容量存储设备728中、易失性存储器714中、非易失性存储器716中和/或可移动非瞬态计算机可读存储介质(例如，CD或DVD)上。
从上文将理解，已经公开了示例方法、装置和制品以操作具有有限电源的移动相机，同时实现移动相机的用于生产力、娱乐，和作为在用户的日常活动中辅助用户的辅助技术的许多用途。本文公开的示例移动相机在低功率特征监视模式和一个或多个较高功率活动模式中操作。低功率特征监视模式使得移动相机能够监视其周围环境的特性，同时消耗实质上很少的功率(例如，约2毫瓦)。在低功率特征监视模式中，示例移动相机的环境分析逻辑监视环境特性以标识表示刺激的感兴趣的特征，该刺激可以保证将移动相机转换到较高功率活动模式，在较高功率活动模式中，移动相机可以监视附加类型的环境特性和/或捕获高质量视觉捕获。以这样的方式，本文公开的示例使得移动相机能够在功率受限的配置中操作长持续时间，而移动相机间歇地在较高功率模式中智能地操作以捕获高质量数据(例如，其周围环境的高分辨率视觉捕获)。
本文公开的示例还使得移动相机能够发送从所收集的传感器数据(例如，运动数据、音频数据、视觉捕获等)生成的元数据，而不是发送传感器数据本身。由于元数据在数据大小上小于原始传感器数据，因此将传感器数据从移动相机传送到主机设备或云服务节省了网络带宽，因此减少了网络拥塞并且增加了可在元数据目的地位置处接收此类元数据的速度。由于元数据具有比原始传感器数据更小的数据大小而需要发送更少的数据，因此它还降低了移动相机的功耗。相对于使用Wi-Fi通信而言，这种功耗降低尤为重要，因为Wi-Fi通信对执行发送的功耗要求可能特别高。以这种方式降低功耗在小型便携式电子设备(例如，移动相机)中是有用的，小型便携式电子设备具有小电池并且因此具有小充电容量。另外，从移动相机通过网络发送元数据通过不泄露可以用于识别人和/或私人/个人财产的原始传感器数据来保护这样的人和/或私人/个人财产的隐私。因此，本文所公开的示例可用于通过跨网络将关于传感器数据的元数据从移动相机发送到目的地位置来减少网络拥塞并保护个人的隐私。
以下涉及本文公开的进一步示例。
示例1是移动相机。示例1的移动相机包括：第一卷积神经网络，其用于响应于在第一传感器数据中检测到第一特征而识别所述第一传感器数据中的所述第一特征；状态转换器，其用于响应于所述第一卷积神经网络识别所述第一特征而将所述移动相机从第一特征检测状态转换到第二特征检测状态，所述移动相机用于在所述第二特征检测状态中使用比在所述第一特征检测状态中更高的功耗来操作；第二卷积神经网络，其用于在所述第二特征检测状态下识别第二传感器数据中的第二特征；以及通信接口，其用于向外部设备发送以下中的至少一个：与所述第一特征相对应的第一元数据或与所述第二特征相对应的第二元数据。
在示例2中，示例1的主题可以可选地包括：图像特征检测器，所述图像特征检测器在电路中与低分辨率相机连接，所述低分辨率相机用于在所述第一特征检测状态下提供所述第一传感器数据，所述图像特征检测器用于检测所述第一传感器数据中的所述第一特征；以及高分辨率相机，当所述移动相机处于所述第一特征检测状态时，所述高分辨率相机具有待机模式，并且当所述移动相机处于所述第二特征检测状态时，所述高分辨率相机具有活动模式。
在示例3中，示例1-2中的任一项的主题可以可选地包括：特征检测器，其用于确定所述第一特征是否满足特征触发阈值，所述第一卷积神经网络用于响应于所述第一特征满足所述特征触发阈值而生成所述第一元数据。
在示例4中，示例1-3中的任一项的主题可以可选地包括：运动特征检测器，所述运动特征检测器在电路中与惯性测量单元连接，所述第一传感器数据由在电路中与所述惯性测量单元连接的运动传感器提供，并且所述运动特征检测器用于检测所述第一传感器数据中的所述第一特征。
在示例5中，示例1-4中的任一项的主题可以可选地包括：所述第一卷积神经网络用于通过将所述第一特征与参考运动元数据库中的参考运动特征定义进行比较来生成所述第一元数据。
在示例6中，示例1-5中的任一项的主题可以可选地包括：音频特征检测器，所述音频特征检测器在电路中与音频编解码器连接，所述第一传感器数据是音频数据，并且所述音频特征检测器用于检测所述音频数据中的所述第一特征。
在示例7中，示例1-6中的任一项的主题可以可选地包括：所述第一卷积神经网络用于通过将所述第一特征与参考音频元数据库中的参考音频特征定义进行比较来生成所述第一元数据。
在示例8中，示例1-7中的任一项的主题可以可选地包括：所述音频特征检测器用于基于以下中的至少一个来检测所述音频数据中的所述第一特征：(a)语音、(b)车辆声音、(c)或所述音频数据中反映的音频信号的变化率。
在示例9中，示例1-8中的任一项的主题可以可选地包括：图像特征检测器，所述图像特征检测器在电路中与低分辨率相机连接，所述第一传感器数据是视觉捕获，并且所述图像特征检测器用于检测所述视觉捕获中的所述第一特征。
在示例10中，示例1-9中的任一项的主题可以可选地包括：所述第一卷积神经网络用于通过将所述第一特征与参考图像元数据库中的参考视觉特征定义进行比较来生成所述第一元数据。
在示例11中，示例1-10中的任一项的主题可以可选地包括：所述图像特征检测器用于基于以下中的至少一个来检测所述视觉捕获中的所述第一特征：在所述视觉捕获中的(a)边缘、(b)线、(c)或面。
在示例12中，示例1-11中的任一项的主题可以可选地包括：所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
示例13是移动相机。示例13的移动相机包括：用于响应于在第一传感器数据中检测到第一特征而识别所述第一传感器数据中的所述第一特征的第一单元；用于响应于对所述第一特征的所述识别而将所述移动相机从第一特征检测状态转换到第二特征检测状态的单元，所述第二特征检测状态用于有助于所述移动相机进行的比所述第一特征检测状态相对更高的功耗；用于识别所收集的第二传感器数据中的第二特征的第二单元；以及用于向外部设备传送以下中的至少一个的单元：与所述第一特征相对应的第一元数据或与所述第二特征相对应的第二元数据。
在示例14中，示例13的主题可以可选地包括：用于检测特征的单元，所述用于检测特征的单元用于检测所述第一传感器数据中的所述第一特征。
在示例15中，示例13-14中的任一项的主题可以可选地包括：所述用于检测特征的单元用于基于确定所述第一特征满足特征触发阈值来确定检测到所述第一特征，用于识别的所述第一单元用于在所述用于检测特征的单元确定所述第一特征满足所述特征触发阈值之后生成所述第一元数据。
在示例16中，示例13-15中的任一项的主题可以可选地包括：用于检测特征的单元，所述用于检测特征的单元用于检测由惯性测量单元提供的所述第一传感器数据的运动数据中的所述第一特征。
在示例17中，示例13-16中的任一项的主题可以可选地包括：用于识别的所述第一单元用于将所述第一特征与参考运动元数据库中的参考运动特征定义进行比较以生成所述第一元数据。
在示例18中，示例13-17中的任一项的主题可以可选地包括：用于检测特征的单元，所述用于检测特征的单元用于检测所述第一传感器数据的音频数据中的所述第一特征。
在示例19中，示例13-18中的任一项的主题可以可选地包括：用于识别的所述第一单元用于将所述第一特征与参考音频元数据库中的参考音频特征定义进行比较以生成所述第一元数据。
在示例20中，示例13-19中的任一项的主题可以可选地包括：所述用于检测特征的单元用于基于以下中的至少一个来检测所述音频数据中的所述第一特征：(a)语音、(b)车辆声音、(c)或所述音频数据中反映的音频信号的变化率。
在示例21中，示例13-20中的任一项的主题可以可选地包括：用于检测特征的单元，所述用于检测特征的单元用于检测由所述第一传感器数据表示的视觉捕获中的所述第一特征。
在示例22中，示例13-21中的任一项的主题可以可选地包括：用于识别的所述第一单元用于将所述第一特征与参考图像元数据库中的参考视觉特征定义进行比较以生成所述第一元数据。
在示例23中，示例13-22中的任一项的主题可以可选地包括：所述用于检测特征的单元用于基于以下中的至少一个来检测所述视觉捕获中的所述第一特征：在所述视觉捕获中的(a)边缘、(b)线、(c)或面。
在示例24中，示例13-23中的任一项的主题可以可选地包括：所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
示例25是一种包括指令的非暂时性计算机可读存储介质，所述指令在被执行时使得至少一个处理器至少用于：响应于在第一传感器数据中检测到第一特征，识别所述第一传感器数据中的所述第一特征；响应于对所述第一特征的所述识别，将移动相机从第一特征检测状态转换到第二特征检测状态，所述移动相机用于在所述第二特征检测状态中使用比在所述第一特征检测状态中更高的功耗来操作；在所述第二特征检测状态下识别第二传感器数据中的第二特征；以及向外部设备发送以下中的至少一个：与所述第一特征相对应的第一元数据或与所述第二特征相对应的第二元数据。
在示例26中，示例25的主题可以可选地包括：所述指令还使得所述至少一个处理器用于：在所述第一特征检测状态下将高分辨率相机设置为待机模式；访问作为由低分辨率相机在所述第一特征检测状态下提供的视觉捕获的所述第一传感器数据；检测所述第一传感器数据中的所述第一特征；以及在所述第二特征检测状态下将所述高分辨率相机设置为活动模式。
在示例27中，示例25-26中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于：确定所述第一特征是否满足特征触发阈值；以及响应于所述第一特征满足所述特征触发阈值而生成所述第一元数据。
在示例28中，示例25-27中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于：访问作为由在电路中与惯性测量单元连接的运动传感器提供的运动数据的所述第一传感器数据；以及检测所述运动数据中的所述第一特征。
在示例29中，示例25-28中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于通过将所述第一特征与参考运动元数据库中的参考运动特征定义进行比较来生成所述第一元数据。
在示例30中，示例25-29中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于：访问作为由音频编解码器提供的音频数据的所述第一传感器数据；以及检测所述音频数据中的所述第一特征。
在示例31中，示例25-30中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于通过将所述第一特征与参考音频元数据库中的参考音频特征定义进行比较来生成所述第一元数据。
在示例32中，示例25-31中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于基于以下中的至少一个来检测所述音频数据中的所述第一特征：(a)语音、(b)车辆声音、(c)或在所述音频数据中反映的音频信号的变化率。
在示例33中，示例25-32中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于：访问作为由低分辨率相机提供的视觉捕获的所述第一传感器数据；以及检测所述视觉捕获中的所述第一特征。
在示例34中，示例25-33中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于通过将所述第一特征与参考图像元数据库中的参考视觉特征定义进行比较来生成所述第一元数据。
在示例35中，示例25-34中的任一项的主题可以可选地包括：所述指令还使得所述至少一个处理器用于基于以下中的至少一个来检测所述视觉捕获中的所述第一特征：在所述视觉捕获中的(a)边缘、(b)线、(c)或面。
在示例36中，示例25-35中的任一项的主题可以可选地包括：所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
示例37是一种用于操作移动相机的方法，所述方法包括：通过利用处理器执行指令，响应于在第一传感器数据中检测到第一特征，识别所述第一传感器数据中的所述第一特征；通过利用所述处理器执行指令，响应于对所述第一特征的所述识别，将所述移动相机从第一特征检测状态转换到第二特征检测状态，所述移动相机用于在所述第二特征检测状态中使用比在所述第一特征检测状态中更高的功耗来操作；通过利用所述处理器执行指令，在所述第二特征检测状态中识别第二传感器数据中的第二特征；以及通过利用所述处理器执行指令，向外部设备发送以下中的至少一个：与所述第一特征相对应的第一元数据或与所述第二特征相对应的第二元数据。
在示例38中，示例37的主题可以可选地包括：在所述第一特征检测状态下将高分辨率相机设置为待机模式；在所述第一特征检测状态下访问作为由低分辨率相机提供的视觉捕获的所述第一传感器数据；检测所述第一传感器数据中的所述第一特征；以及在所述第二特征检测状态下将所述高分辨率相机设置为活动模式。
在示例39中，示例37-38中的任一项的主题可以可选地包括：确定所述第一特征是否满足特征触发阈值；以及响应于所述第一特征满足所述特征触发阈值而生成所述第一元数据。
在示例40中，示例37-39中的任一项的主题可以可选地包括：访问作为由在电路中与惯性测量单元连接的运动传感器提供的运动数据的所述第一传感器数据；以及检测所述运动数据中的所述第一特征。
在示例41中，示例37-40中的任一项的主题可以可选地包括：通过将所述第一特征与参考运动元数据库中的参考运动特征定义进行比较来生成所述第一元数据。
在示例42中，示例37-41中的任一项的主题可以可选地包括：访问作为由音频编解码器提供的音频数据的所述第一传感器数据；以及检测所述音频数据中的所述第一特征。
在示例43中，示例37-42中的任一项的主题可以可选地包括：通过将所述第一特征与参考音频元数据库中的参考音频特征定义进行比较来生成所述第一元数据。
在示例44中，示例37-43中的任一项的主题可以可选地包括：基于以下中的至少一个来检测所述音频数据中的所述第一特征：(a)语音、(b)车辆声音、(c)或在所述音频数据中反映的音频信号的变化率。
在示例45中，示例37-44中的任一项的主题可以可选地包括：访问作为由低分辨率相机提供的视觉捕获的所述第一传感器数据；以及检测所述视觉捕获中的所述第一特征。
在示例46中，示例37-45中的任一项的主题可以可选地包括：通过将所述第一特征与参考图像元数据库中的参考视觉特征定义进行比较来生成所述第一元数据。
在示例47中，示例37-46中的任一项的主题可以可选地包括：基于以下中的至少一个来检测所述视觉捕获中的所述第一特征：在所述视觉捕获中的(a)边缘、(b)线、(c)或面。
在示例48中，示例37-47中的任一项的主题可以可选地包括：所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
尽管本文公开了某些示例方法、装置和制品，但是本专利的覆盖范围不限于此。相反，本专利覆盖了完全落入本专利的权利要求的范围内的所有方法、装置和制品。

Claims (25)

1.一种移动相机，包括：
第一状态转换器，其用于响应于在运动传感器数据中检测到运动特征而将所述移动相机从运动特征检测状态转换到音频特征检测状态，所述移动相机用于在所述运动特征检测状态中使用比在所述音频特征检测状态中更低的功耗来进行操作；
第一卷积神经网络，其用于响应于在音频传感器数据中检测到音频特征而识别所述音频传感器数据中的所述音频特征；
第二状态转换器，其用于响应于所述第一卷积神经网络识别所述音频特征而将所述移动相机从所述音频特征检测状态转换到相机特征检测状态，所述移动相机用于在所述相机特征检测状态中使用比在所述音频特征检测状态中更高的功耗来操作；
第二卷积神经网络，其用于在所述相机特征检测状态下识别视觉捕获数据中的图像特征；以及
通信接口，其用于向外部设备发送以下中的至少一个：(a)与所述运动特征或者所述音频特征相对应的第一元数据，或(b)与所述图像特征相对应的第二元数据。
2.根据权利要求1所述的移动相机，还包括：
图像特征检测器，所述图像特征检测器在电路中与低分辨率相机连接，所述低分辨率相机用于在所述相机特征检测状态下提供所述视觉捕获数据，所述图像特征检测器用于检测所述视觉捕获数据中的所述图像特征；以及
高分辨率相机，当所述移动相机处于所述相机特征检测状态时，所述高分辨率相机具有待机模式，并且当所述移动相机处于高分辨率相机特征检测状态时，所述高分辨率相机具有活动模式。
3.根据权利要求1或2中的任一项所述的移动相机，还包括特征检测器，其用于确定所述音频特征是否满足特征触发阈值，所述第一卷积神经网络用于响应于所述音频特征满足所述特征触发阈值而生成所述第一元数据。
4.根据权利要求1所述的移动相机，还包括运动特征检测器，所述运动特征检测器在电路中与惯性测量单元连接，所述运动传感器数据由在电路中与所述惯性测量单元连接的运动传感器提供，并且所述运动特征检测器用于检测所述运动传感器数据中的所述运动特征。
5.根据权利要求1所述的移动相机，其中，第三卷积神经网络用于通过将所述运动特征与参考运动元数据库中的参考运动特征定义进行比较来生成所述第一元数据。
6.根据权利要求1所述的移动相机，还包括音频特征检测器，所述音频特征检测器在电路中与音频编解码器连接，并且所述音频特征检测器用于基于具有以下中的至少一个的所述音频特征来检测所述音频传感器数据中的所述音频特征：用于满足阈值的足够的幅度或足够的持续时间。
7.根据权利要求6所述的移动相机，其中，所述第一卷积神经网络用于通过将所述音频特征与参考音频元数据库中的参考音频特征定义进行比较来生成所述第一元数据。
8.根据权利要求6或7中的任一项所述的移动相机，其中，所述音频特征检测器用于基于以下中的至少一个来检测所述音频传感器数据中的所述音频特征：(a)语音、(b)车辆声音、或者(c)所述音频传感器数据中反映的音频信号的变化率。
9.根据权利要求1所述的移动相机，还包括图像特征检测器，所述图像特征检测器在电路中与低分辨率相机连接，所述图像特征检测器用于检测所述视觉捕获数据中的所述图像特征。
10.根据权利要求9所述的移动相机，其中，所述第二卷积神经网络用于通过将所述图像特征与参考图像元数据库中的参考视觉特征定义进行比较来生成所述第二元数据。
11.根据权利要求9或10中的任一项所述的移动相机，其中，所述图像特征检测器用于基于以下中的至少一个来检测所述视觉捕获数据中的所述图像特征：在所述视觉捕获数据中的(a)边缘、(b)线、或(c)面。
12.根据权利要求1、2、4、5、6、7、9或10中的任一项所述的移动相机，其中，所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
13.一种移动相机，包括：
用于响应于在运动传感器数据中检测到运动特征而将所述移动相机从运动特征检测状态转换到音频特征检测状态的第一单元，所述运动特征检测状态中的第一功率状态与比所述音频特征检测状态的第二功率状态更低的功耗相对应；
用于响应于在音频传感器数据中检测到音频特征而识别所述音频传感器数据中的所述音频特征的第一单元；
用于响应于对所述音频特征的所述识别而将所述移动相机从所述音频特征检测状态转换到相机特征检测状态的第二单元，所述相机特征检测状态用于有助于所述移动相机进行的比所述音频特征检测状态相对更高的功耗；
用于在所述相机特征检测状态下识别视觉捕获数据中的图像特征的第二单元；以及
用于向外部设备传送以下中的至少一个的单元：(a)与所述运动特征或者所述音频特征相对应的第一元数据或(b)与所述图像特征相对应的第二元数据。
14.根据权利要求13所述的移动相机，还包括用于检测所述音频传感器数据中的所述音频特征的存在的单元，所述音频传感器数据中的所述音频特征的所述存在用于使用于识别的所述第一单元识别所述音频传感器数据中的所述音频特征。
15.根据权利要求13所述的移动相机，还包括用于基于确定所述音频特征满足特征触发阈值来检测所述音频特征的单元，用于识别的所述第一单元用于在所述用于检测所述音频特征的单元确定所述音频特征满足所述特征触发阈值之后生成所述第一元数据。
16.根据权利要求13所述的移动相机，还包括用于检测所述运动特征的单元，所述用于检测所述运动特征的单元用于检测由惯性测量单元提供的所述运动传感器数据中的所述运动特征。
17.根据权利要求13所述的移动相机，还包括用于识别的第三单元，所述用于识别的第三单元用于将所述运动特征与参考运动元数据库中的参考运动特征定义进行比较以生成所述第一元数据。
18.根据权利要求13所述的移动相机，还包括用于基于以下中的至少一个来检测所述音频传感器数据中的所述音频特征的单元：(a)语音、(b)车辆声音、或(c)所述音频传感器数据中反映的音频信号的变化率。
19.根据权利要求13所述的移动相机，还包括用于基于以下中的至少一个来检测所述视觉捕获数据中的所述图像特征的单元：在所述视觉捕获数据中的(a)边缘、(b)线、或(c)面。
20.根据权利要求13-19中的任一项所述的移动相机，其中，所述外部设备是以下中的至少一个：移动电话、第二移动相机或可穿戴设备。
21.一种包括指令的计算机可读存储介质，所述指令在被执行时使得至少一个处理器至少用于：
响应于在运动传感器数据中检测到运动特征而将移动相机从运动特征检测状态转换到音频特征检测状态，所述运动特征检测状态中的第一功率状态与比所述音频特征检测状态的第二功率状态更低的功耗相对应；
响应于在音频传感器数据中检测到音频特征，识别所述音频传感器数据中的所述音频特征；
响应于对所述音频特征的所述识别，将所述移动相机从所述音频特征检测状态转换到相机特征检测状态，所述移动相机用于在所述相机特征检测状态中使用比在所述音频特征检测状态中更高的功耗来操作；
在所述相机特征检测状态下识别视觉捕获数据中的图像特征；以及
向外部设备发送以下中的至少一个：(a)与所述运动特征或者所述音频特征相对应的第一元数据或(b)与所述图像特征相对应的第二元数据。
22.根据权利要求21所述的计算机可读存储介质，其中，所述相机特征检测状态是低分辨率相机特征检测状态，并且其中，所述指令还使得所述至少一个处理器用于：
在所述低分辨率相机特征检测状态下将高分辨率相机设置为待机模式；
访问作为由低分辨率相机在所述低分辨率相机特征检测状态下提供的视觉捕获的所述图像捕获数据；
检测所述图像捕获数据中的所述图像特征；以及
在高分辨率相机特征检测状态下将所述高分辨率相机设置为活动模式。
23.根据权利要求21或22中的任一项所述的计算机可读存储介质，其中，所述指令还使得所述至少一个处理器用于：
确定所述运动特征或者所述音频特征是否满足特征触发阈值；以及
响应于所述运动特征或者所述音频特征满足所述特征触发阈值而生成所述第一元数据。
24.一种用于操作移动相机的方法，所述方法包括：
通过利用处理器来执行指令，响应于在运动传感器数据中检测到运动特征而将所述移动相机从运动特征检测状态转换到音频特征检测状态，所述运动特征检测状态中的第一功率状态与比所述音频特征检测状态的第二功率状态更低的功耗相对应；
通过利用所述处理器执行指令，响应于在音频传感器数据中检测到音频特征，识别所述音频传感器数据中的所述音频特征；
通过利用所述处理器执行指令，响应于对所述音频特征的所述识别，将所述移动相机从所述音频特征检测状态转换到相机特征检测状态，所述移动相机用于在所述相机特征检测状态中使用比在所述音频特征检测状态中更高的功耗来操作；
通过利用所述处理器执行指令，在所述相机特征检测状态中识别视觉捕获数据中的图像特征；以及
通过利用所述处理器执行指令，向外部设备发送以下中的至少一个：(a)与所述运动特征或者所述音频特征相对应的第一元数据，或(b)与所述图像特征相对应的第二元数据。
25.根据权利要求24所述的方法，其中，所述相机特征检测状态是低分辨率相机特征检测状态，并且还包括：
在所述低分辨率相机特征检测状态下将高分辨率相机设置为待机模式；
访问作为由低分辨率相机在所述低分辨率相机特征检测状态下提供的视觉捕获的所述图像捕获数据；
检测所述图像捕获数据中的所述图像特征；以及
在高分辨率相机特征检测状态下将所述高分辨率相机设置为活动模式。
CN201980008306.2A 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置 Active CN111919433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211080327.5A CN115996315A (zh) 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/870,007 US10574890B2 (en) 2018-01-12 2018-01-12 Methods and apparatus to operate a mobile camera for low-power usage
US15/870,007 2018-01-12
PCT/EP2019/050462 WO2019137967A1 (en) 2018-01-12 2019-01-09 Methods and apparatus to operate a mobile camera for low-power usage

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211080327.5A Division CN115996315A (zh) 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置

Publications (2)

Publication Number Publication Date
CN111919433A CN111919433A (zh) 2020-11-10
CN111919433B true CN111919433B (zh) 2022-09-27

Family

ID=65036764

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211080327.5A Pending CN115996315A (zh) 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置
CN201980008306.2A Active CN111919433B (zh) 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211080327.5A Pending CN115996315A (zh) 2018-01-12 2019-01-09 用于操作移动相机以用于低功率使用的方法和装置

Country Status (7)

Country Link
US (4) US10574890B2 (zh)
EP (2) EP4125265A3 (zh)
KR (1) KR20200124648A (zh)
CN (2) CN115996315A (zh)
DE (1) DE112019000392T5 (zh)
ES (1) ES2934084T3 (zh)
WO (1) WO2019137967A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10652440B2 (en) * 2017-07-24 2020-05-12 Boulder A1 Hermetically sealed camera with a graphical processing unit (GPU)
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US10791173B2 (en) 2018-07-13 2020-09-29 EMC IP Holding Company LLC Decentralized and distributed continuous replication system for moving devices
US10915995B2 (en) 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
US10957186B2 (en) * 2018-11-29 2021-03-23 Omnivision Technologies, Inc. Reducing false alarms in surveillance systems
US11159731B2 (en) 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
MX2021014469A (es) * 2019-05-28 2022-01-27 Utility Ass Inc Sistemas y metodos para detectar un disparo.
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11450151B2 (en) * 2019-07-18 2022-09-20 Capital One Services, Llc Detecting attempts to defeat facial recognition
US11683759B2 (en) * 2019-10-10 2023-06-20 Qualcomm Incorporated Power saving with sensor assisted mobile device management software image load
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
GB201917600D0 (en) * 2019-12-02 2020-01-15 Univ Of Essex Enterprises Limited Improved reflectance measurement
US10834320B1 (en) * 2019-12-09 2020-11-10 Emza Visual Sense Ltd Triple-mode camera system and method of using the same
US11586889B1 (en) * 2019-12-13 2023-02-21 Amazon Technologies, Inc. Sensory perception accelerator
KR102375380B1 (ko) * 2020-02-07 2022-03-16 백현민 저전력 동물 감시 장치 및 그 방법
CN111341306B (zh) * 2020-02-14 2022-06-17 东南大学 基于语音特征复用的关键词唤醒cnn的存储和计算压缩方法
US11134194B2 (en) * 2020-02-26 2021-09-28 Himax Technologies Limited Always-on system with multi-layer power management
US10931918B1 (en) * 2020-03-10 2021-02-23 Cisco Technology, Inc. Providing for cognitive recognition in a collaboration environment
CN111414842B (zh) * 2020-03-17 2021-04-13 腾讯科技（深圳）有限公司 一种视频对比方法、装置、计算机设备和存储介质
US11233956B2 (en) * 2020-03-31 2022-01-25 Western Digital Technologies, Inc. Sensor system with low power sensor devices and high power sensor devices
CN111640426A (zh) * 2020-06-10 2020-09-08 北京百度网讯科技有限公司 用于输出信息的方法和装置
US11595576B2 (en) * 2020-08-18 2023-02-28 Samsung Electronics Co., Ltd. Using an image sensor for always-on application within a mobile device
CN116420105A (zh) * 2020-09-30 2023-07-11 斯纳普公司 用于增强现实护目镜中的计算机视觉模式的低功耗相机管线
WO2022081142A1 (en) * 2020-10-13 2022-04-21 Google Llc Distributed sensor data processing using multiple classifiers on multiple devices
US11455873B2 (en) * 2021-01-14 2022-09-27 Google Llc Buffered video recording for video cameras
EP4305585A1 (en) * 2021-03-10 2024-01-17 Lattice Semiconductor Corporation Image tagging engine systems and methods for programmable logic devices
US11428541B1 (en) * 2021-05-25 2022-08-30 GM Global Technology Operations LLC Targetless calibration of camera and inertial sensor in a vehicle
US20230004742A1 (en) * 2021-06-30 2023-01-05 Western Digital Technologies, Inc. Storage and Processing of Intermediate Features in Neural Networks
KR20230011551A (ko) * 2021-07-14 2023-01-25 현대자동차주식회사 인증 장치 및 그를 가지는 차량
IL285338B (en) 2021-08-03 2022-09-01 Emza Visual Sense Ltd Lens cover, system and method for detecting a lens cover
US11877048B2 (en) 2021-08-25 2024-01-16 Qualcomm Incorporated Camera initialization for reduced latency
US11381743B1 (en) * 2021-09-17 2022-07-05 Qualcomm Incorporated Region of interest capture for electronic devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264879A (zh) * 2013-06-14 2016-01-20 高通股份有限公司 计算机视觉应用处理
WO2017031716A1 (zh) * 2015-08-26 2017-03-02 北京云江科技有限公司 自然场景图像中手写体数学公式结构分析与识别方法
CN107145833A (zh) * 2017-04-11 2017-09-08 腾讯科技（上海）有限公司 人脸区域的确定方法和装置
CN107169402A (zh) * 2016-03-08 2017-09-15 福特全球技术公司 车辆车道定位
CN107480611A (zh) * 2017-07-31 2017-12-15 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259189A (ja) 2002-03-01 2003-09-12 Sony Corp 撮像装置，画像処理方法
JP4403398B2 (ja) * 2004-09-08 2010-01-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2007110364A (ja) * 2005-10-13 2007-04-26 Sony Corp 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4627743B2 (ja) 2006-05-26 2011-02-09 株式会社ユニバーサルエンターテインメント 入退出管理システム、並びに入退出管理装置
US20080049020A1 (en) 2006-08-22 2008-02-28 Carl Phillip Gusler Display Optimization For Viewer Position
US8531521B2 (en) 2006-10-06 2013-09-10 Sightlogix, Inc. Methods and apparatus related to improved surveillance using a smart camera
US8098904B2 (en) 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
JP2010086265A (ja) 2008-09-30 2010-04-15 Fujitsu Ltd 受信装置、データ表示方法、および移動支援システム
US8345921B1 (en) 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
US8508520B2 (en) * 2009-07-09 2013-08-13 Nvidia Corporation Luminous power control of a light source of a multimedia processing system
US20120177288A1 (en) 2009-08-04 2012-07-12 Vesalis Image-processing method for correcting a target image with respect to a reference image, and corresponding image-processing device
US9417312B2 (en) 2009-11-18 2016-08-16 Verizon Patent And Licensing Inc. System and method for providing automatic location-based imaging using mobile and stationary cameras
JP2011212347A (ja) 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、端末及びネットワークシステム
EP2710562A1 (en) 2011-05-02 2014-03-26 Apigy Inc. Systems and methods for controlling a locking mechanism using a portable electronic device
CN102907062B (zh) 2011-05-26 2016-06-22 华为技术有限公司 获取云服务的方法和终端、云输入方法和设备、云服务卡及系统
JP5809891B2 (ja) * 2011-09-09 2015-11-11 オリンパス株式会社 撮影装置
WO2013062604A1 (en) 2011-10-24 2013-05-02 Le Sant Aurelien System and method for managing industrial processes
US20140241585A1 (en) 2011-12-29 2014-08-28 Alexandra Zafiroglu Systems, methods, and apparatus for obtaining information from an object attached to a vehicle
JP5962083B2 (ja) 2012-03-14 2016-08-03 オムロン株式会社 領域抽出結果の表示方法及び画像処理装置
JP2013235080A (ja) 2012-05-08 2013-11-21 Sony Corp 画像表示装置、画像表示プログラム及び画像表示方法
JP5875463B2 (ja) 2012-05-21 2016-03-02 キヤノン株式会社 撮像装置、マスク画像設定方法、および、プログラム
US10129524B2 (en) * 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US20140334684A1 (en) 2012-08-20 2014-11-13 Jonathan Strimling System and method for neighborhood-scale vehicle monitoring
US9564049B2 (en) 2012-08-24 2017-02-07 Traffic Emergency Displays, Inc. Electronic traffic alert system
US9007402B2 (en) 2012-09-18 2015-04-14 Facebook, Inc. Image processing for introducing blurring effects to an image
US9940525B2 (en) 2012-11-19 2018-04-10 Mace Wolf Image capture with privacy protection
TWI490818B (zh) 2013-01-02 2015-07-01 Chunghwa Picture Tubes Ltd 權重式影像強化方法以及系統
US10203923B2 (en) 2013-01-31 2019-02-12 Hewlett-Packard Development Company, L.P. Linking a roaming device to a network-enabled resource through a cloud service using an address obtained through a local interaction
US11172126B2 (en) * 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
WO2014144628A2 (en) * 2013-03-15 2014-09-18 Master Lock Company Cameras and networked security systems and methods
JP5928402B2 (ja) 2013-04-19 2016-06-01 株式会社ダイフク 走行車制御システム
JP6040878B2 (ja) 2013-07-08 2016-12-07 富士ゼロックス株式会社 印刷装置、印刷制御装置、印刷システム及びプログラム
US10122747B2 (en) 2013-12-06 2018-11-06 Lookout, Inc. Response generation after distributed monitoring and evaluation of multiple devices
US9402018B2 (en) 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
US10068149B2 (en) 2013-12-27 2018-09-04 Intel Corporation Image processing utilizing reference images
US20150189176A1 (en) * 2013-12-30 2015-07-02 Lyve Minds, Inc. Domain aware camera system
US20150242405A1 (en) 2014-02-26 2015-08-27 Sony Corporation Methods, devices and systems for context-sensitive organization of media files
US20150324686A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
JP5707562B1 (ja) 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
EP3155758A4 (en) * 2014-06-10 2018-04-11 Sightline Innovation Inc. System and method for network based application development and implementation
KR102261552B1 (ko) * 2014-06-30 2021-06-07 삼성전자주식회사 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
EP3164987B1 (en) * 2014-07-01 2024-01-03 Apple Inc. Mobile camera system
KR102205702B1 (ko) 2014-07-30 2021-01-21 삼성전자주식회사 이미지 센서 및 이미지 센서를 구동하는 방법, 그리고 이를 이용한 영상 촬영 장치
US20160042668A1 (en) 2014-08-07 2016-02-11 International Engine Intellectual Property Company, Llc Vehicle wire installation devices and methods
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9621741B2 (en) * 2014-12-10 2017-04-11 Intel Corporation Techniques for context and performance adaptive processing in ultra low-power computer vision systems
WO2016167796A1 (en) 2015-04-17 2016-10-20 Hewlett Packard Enterprise Development Lp Hierarchical classifiers
US9805739B2 (en) * 2015-05-15 2017-10-31 Google Inc. Sound event detection
CN106911885B (zh) 2015-12-22 2021-04-13 深圳富泰宏精密工业有限公司 电子设备及照片拍摄方法
US10225511B1 (en) * 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10732809B2 (en) * 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US20170272660A1 (en) 2016-03-17 2017-09-21 Casio Computer Co., Ltd. Imaging device configured to control a region of imaging
CN106021879A (zh) 2016-05-11 2016-10-12 沈阳东软医疗系统有限公司 提供医疗设备操作指导信息的方法及装置
US10181391B2 (en) 2016-05-26 2019-01-15 Nanojehm Inc. Image processing system and method of processing images
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
US10410097B2 (en) 2016-06-06 2019-09-10 Mutualink, Inc. System and method for distributed intelligent pattern recognition
KR102557956B1 (ko) 2016-08-19 2023-07-21 모비디어스 리미티드 딥 러닝 모델들의 분산 훈련을 위한 시스템들 및 방법들
US20180374105A1 (en) 2017-05-26 2018-12-27 Get Attached, Inc. Leveraging an intermediate machine learning analysis
US11823067B2 (en) 2017-06-27 2023-11-21 Hcl Technologies Limited System and method for tuning and deploying an analytical model over a target eco-system
US10444578B2 (en) 2017-08-29 2019-10-15 Novatek Microelectronics Corp. Mask storing method for driving module and related image displaying method
US10284789B2 (en) 2017-09-15 2019-05-07 Sony Corporation Dynamic generation of image of a scene based on removal of undesired object present in the scene
WO2019079290A1 (en) 2017-10-18 2019-04-25 Walmart Apollo, Llc ENGINE OF GROUPED PURCHASING RULES
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US11526745B2 (en) 2018-02-08 2022-12-13 Intel Corporation Methods and apparatus for federated training of a neural network using trusted edge devices
US20190279082A1 (en) 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
US10676269B2 (en) 2018-04-04 2020-06-09 6d bytes inc. Delivery apparatus for autonomous system
US10609293B2 (en) 2018-08-20 2020-03-31 Capital One Services, Llc Real-time glare detection inside a dynamic region of an image
US10915995B2 (en) 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264879A (zh) * 2013-06-14 2016-01-20 高通股份有限公司 计算机视觉应用处理
WO2017031716A1 (zh) * 2015-08-26 2017-03-02 北京云江科技有限公司 自然场景图像中手写体数学公式结构分析与识别方法
CN107169402A (zh) * 2016-03-08 2017-09-15 福特全球技术公司 车辆车道定位
CN107145833A (zh) * 2017-04-11 2017-09-08 腾讯科技（上海）有限公司 人脸区域的确定方法和装置
CN107480611A (zh) * 2017-07-31 2017-12-15 浙江大学 一种基于深度学习卷积神经网络的裂缝识别方法

Also Published As

Publication number Publication date
CN111919433A (zh) 2020-11-10
EP4125265A3 (en) 2023-06-21
KR20200124648A (ko) 2020-11-03
US11625910B2 (en) 2023-04-11
US20190222756A1 (en) 2019-07-18
US20220174215A1 (en) 2022-06-02
EP3738304B1 (en) 2022-09-21
CN115996315A (zh) 2023-04-21
DE112019000392T5 (de) 2020-10-22
US11240430B2 (en) 2022-02-01
ES2934084T3 (es) 2023-02-16
EP3738304A1 (en) 2020-11-18
EP4125265A2 (en) 2023-02-01
US20200396383A1 (en) 2020-12-17
WO2019137967A1 (en) 2019-07-18
US20230237791A1 (en) 2023-07-27
US10574890B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN111919433B (zh) 用于操作移动相机以用于低功率使用的方法和装置
US10178291B2 (en) Obtaining information from an environment of a user of a wearable camera system
WO2020177619A1 (zh) 终端充电提醒方法、装置、设备及存储介质
EP2879095B1 (en) Method, apparatus and terminal device for image processing
CN112088379A (zh) 确定用于卷积神经网络的加权的方法和装置
US20210109585A1 (en) Methods and apparatus to improve user experience on computing devices
US20220044043A1 (en) Integrated circuit and sensor data processing method
EP2922212A2 (en) Method, apparatus and system for controlling emission
WO2022179376A1 (zh) 手势控制方法与装置、电子设备及存储介质
WO2021057537A1 (zh) 一种卡顿预测的方法、数据处理的方法以及相关装置
WO2021104104A1 (zh) 一种高能效的显示处理方法及设备
US20220165054A1 (en) Distributed sensor data processing using multiple classifiers on multiple devices
WO2022037398A1 (zh) 一种音频控制方法、设备及系统
KR20240039130A (ko) 이벤트 맵핑에 기초한 카메라 설정 조정
US20230230597A1 (en) Distributed sensor data processing using multiple classifiers on multiple devices
Naderiparizi Toward battery-free smart cameras
CN116450068A (zh) 熄屏显示的控制方法、电子设备及存储介质
CN116450069A (zh) 熄屏显示的控制方法、电子设备及介质
US20160163220A1 (en) Awareness Enhancement Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant