CN107077601A - 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 - Google Patents

使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 Download PDF

Info

Publication number
CN107077601A
CN107077601A CN201580052384.4A CN201580052384A CN107077601A CN 107077601 A CN107077601 A CN 107077601A CN 201580052384 A CN201580052384 A CN 201580052384A CN 107077601 A CN107077601 A CN 107077601A
Authority
CN
China
Prior art keywords
sensor
special
sensing
detection
sensor array
Prior art date
Application number
CN201580052384.4A
Other languages
English (en)
Inventor
叶夫根尼·古塞夫
阿洛克·戈维尔
亚切克·马伊坦
纳尔逊·拉斯奎因哈
文卡特·兰加
Original Assignee
高通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US62/057,800 priority Critical
Priority to US201462057800P priority
Priority to US201462058009P priority
Priority to US201462057972P priority
Priority to US62/057,972 priority
Priority to US62/058,009 priority
Priority to US14/866,549 priority patent/US9554100B2/en
Priority to US14/866,549 priority
Application filed by 高通股份有限公司 filed Critical 高通股份有限公司
Priority to PCT/US2015/052684 priority patent/WO2016053886A1/en
Publication of CN107077601A publication Critical patent/CN107077601A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00255Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • G06K9/00342Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • G06K9/00355Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00362Recognising human body or animal bodies, e.g. vehicle occupant, pedestrian; Recognising body parts, e.g. hand
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00973Hardware and software architectures for pattern recognition, e.g. modular organisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00973Hardware and software architectures for pattern recognition, e.g. modular organisation
    • G06K9/00986Hardware and software architectures for pattern recognition, e.g. modular organisation using specific electronic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • G06K9/4609Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections by matching or filtering
    • G06K9/4619Biologically-inspired filters, e.g. receptive fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/60Combination of image acquisition and preprocessing functions
    • G06K9/605Combination of image acquisition and preprocessing functions the combination being locally implemented within the sensing arrangement, e.g. artificial retina
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23218Control of camera operation based on recognized objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23218Control of camera operation based on recognized objects
    • H04N5/23219Control of camera operation based on recognized objects where the recognized objects include parts of the human body, e.g. human faces, facial parts or facial expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23241Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23241Control of camera operation in relation to power supply
    • H04N5/232411Control of camera operation in relation to power supply where power supply is reduced or conserved by affecting camera operations, e.g. sleep mode, hibernation mode, power off or turning off selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2355Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by increasing the dynamic range of the final image compared to the dynamic range of the electronic image sensor, e.g. by adding correct exposed portions of short and long exposed images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/183Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K2009/4666Extraction of features or characteristics of the image regional/local feature not essentially salient, e.g. local binary pattern

Abstract

本文中所揭示的技术利用出于检测、跟踪、辨识及/或分析专用相机的视野中的主体、对象及场景的目的而将所述相机与专用计算机视觉CV计算硬件及专用低功率微处理器整合在一起的视觉传感器。所述视觉传感器使用所述所包含的低功率微处理器来处理从所述相机检索的信息且仅在需要时或如由应用程序所定义及配置发送用于主处理器的“事件”(或已发生一或多个参考情况的指示,及可能相关联数据)。此允许通用微处理器(其通常为相对高速且高功率以支持各种应用程序)如常规大部分时间保持处于低功率(例如,睡眠模式),而仅在从所述视觉传感器接收事件时才变成作用中的。

Description

使用基于事件的视觉传感器进行低功率始终接通脸部检测、 跟踪、辨识及/或分析

背景技术

[0001] 人-机交互使用许多形式,包含语言(打字、语音辨识、屏幕上文字显示、语音合成 及其类似者)及视觉(静态及视频相机、图形显示器及其类似者)。脸部检测、辨识、表情等等 形成人与人通信的重要部分且因此对人机交互也较重要。存在适于在静态图像及视频中检 测、跟踪、辨识脸部的许多方法及应用,包含情绪检测、性别分类、唇读、眼睛/注视跟踪等。

[0002] 用于脸部或一般对象检测及跟踪的传统系统使用计算密集算法,所述计算密集算 法需要高速、高功耗微处理器,用于移动大量操作数的高消耗的数据路径带宽,及大使用量 的存储器。这些系统通常使用静态/视频相机捕获基于强度的图像并将其递送到通用微处 理器,所述通用微处理器分析所述图像,在屏幕上显示所收集的图像,或基于因此所检索的 场景信息而以其它方式动作。鉴于现有系统的高功率消耗,用于脸部或一般对象检测的使 用案例及应用已变得相当有限。举例,对便携式、电池供电装置来说,相机及处理器子系统 无法大部分时间保持接通。

发明内容

[0003] 本文中所揭示的技术利用出于检测、跟踪、辨识及/或分析专用相机的视野中的主 体、对象及场景的目的而将所述相机与专用计算机视觉(cv)计算硬件及专用低功率微处理 器整合在一起的视觉传感器。所述视觉传感器使用所述所包含低功率微处理器来处理从所 述相机检索的信息且仅在需要时或如由应用程序所定义及配置发送用于主处理器的“事 件”(或已发生一或多个参考情况的指示)。此允许通用微处理器(其通常为相对高速且高功 率以支持各种应用程序)以如常规大部分时间保持处于低功率(例如,睡眠模式),而仅在从 所述视觉传感器检索到事件时才变成作用中的。

[0004]根据描述,用于感测动态的基于场景的发生的智能传感器可包括专用计算机视觉 (cv)计算硬件,其经配置以从包括多于一个传感器像素的传感器阵列接收传感器数据且能 够使用来自所述传感器阵列的相邻传感器像素的读数来计算一或多个cv特征;及第一处理 单元,与所述专用cv计算硬件以通信方式耦合且经配置以处理由基于所述一或多个所计算 cv特征的操作所产生的信号。智能传感器可经配置以响应于所述第一处理单元对由基于所 述一或多个所计算CV特征的所述操作所产生的所述信号的所述处理而产生事件以由第二 处理单元接收,所述事件指示用于所述第二处理单元的参考情况。

[0005]智能传感器可包含以下特征中的一或多者。所述参考情况可为以下各项中的一或 多者:人脸进入视野、人体进入视野、人脸上表达的情绪、非人类动物脸部进入视野、非人类 动物身体进入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境的改 变、参考移动、指示下降的场景中的快速移动、指示碰撞风险的朝向对象的运动、指示危险 的场景中的移动或对象,或其任何组合。事件可包括脸部检测。专用CV计算硬件可经配置以 提供局部二进制模式(LBP)。智能传感器可包括级联分类器硬件,所述级联分类器硬件经配 置以检测参考对象在耦合到所述专用CV计算硬件的所述传感器数据的子集中的存在。基于 所述一或多个所计算CV特征的操作可包括由所述级联分类器硬件执行的操作,所述参考情 况与所述参考对象相关联。所述第一处理单元可经配置以在所述级联分类器硬件检测到所 述参考对象的所述存在时从所述级联分类器硬件接收所述参考对象的所述存在的指示。所 述专用CV计算硬件可经配置以从所述传感器阵列接收原始传感器数据,且传感器阵列与专 用CV计算硬件之间未安置有任何图像信号处理电路。所述专用cv计算硬件可包括集成电 路。所述智能传感器可经配置以禁用所述专用CV计算硬件的至少部分以产生指示环境光感 测、接近度检测、参考对象的接近度、运动检测,或其任何组合的至少一个较低功率光学传 感器读数。所述智能传感器可基于所述至少一个较低功率光学传感器读数而产生所述参考 情况。所述智能传感器可经配置以在以较低功率模式操作时禁用所述专用CV计算硬件的至 少部分,检测所述较低功率模式中的场景改变,及基于所述场景改变的检测而激活所述专 用CV计算硬件。所述事件可指示所述第二处理单元的所述参考情况且进一步包含与所述参 考情况相关联的数据。所述智能传感器可经配置以执行较高功率操作作为基于所述一或多 个所计算CV特征的所述操作的至少部分,所述较高功率操作消耗比较低功率操作多的功 率,且基于所述事件提供关于所述较低功率操作的参数。所述智能传感器可经配置以执行 较低功率操作作为基于所述一或多个所计算CV特征的所述操作的至少部分,所述较低功率 操作消耗比较高功率操作少的功率,且提供关于所述较高功率操作的传感器读数。

[0006] 根据描述,一种用于确定脸部检测事件的实例设备可包括:传感器阵列,其包括多 于一个传感器像素;专用计算机视觉(CV)计算硬件,其能够接收来自所述传感器阵列的传 感器数据且使用来自所述传感器阵列的相邻传感器像素的读数来计算CV特征;及第一处理 单元,其与所述专用CV计算硬件以通信方式耦合且经配置以依据由基于所述一或多个所计 算CV特征的操作所产生的一或多个信号而确定已检测到脸部,且响应于所述确定,产生待 由第二处理单元接收的脸部检测事件。

[0007] 所述设备可包含以下特征中的一或多者。所述设备可包括所述第二处理单元,其 中所述第一处理单元经配置以在所述第二处理单元以低功率模式操作时将所述脸部检测 事件传达到所述第二处理单元。所述专用CV计算硬件可经配置以从所述传感器阵列接收原 始传感器数据,且传感器阵列与专用CV计算硬件之间未安置任何图像信号处理电路。所述 设备可包括外围电路,其经配置以提供以下各项中的至少一者:定时操作、聚焦操作、自动 曝光校正操作、对象检测、对象辨识、存储扫描窗口、事件排队及/或处理操作、模拟处理、 模/数转换、积分操作、CV特征计算、基于级联分类器的分类、基于直方图的分类,或存储器 缓冲器,或其任何组合。所述设备可包括所述第二处理单元,且所述第一处理单元可经进一 步配置以在所述第二处理单元以低功率模式操作时将所述脸部检测事件传达到所述第二 处理单元。

[0008] 根据描述,用于用设备感测动态的基于场景的发生的方法,可包括:用专用计算机 视觉(CV)计算硬件,接收来自包括多于一个传感器像素的传感器阵列的传感器数据;用所 述专用CV计算硬件,使用来自所述传感器阵列的相邻传感器像素的读数来计算一或多个CV 特征;用第一处理单元,处理由基于所述一或多个所计算cv特征的操作所产生的信号;及响 应于所述第一处理单元对由基于所述一或多个所计算CV特征的所述操作所产生的所述信 号的所述处理,产生事件以由第二处理单元接收,所述事件指示用于所述第二处理单元的 参考情况。

[0009] 所述方法可进一步包含以下特征中的一或多者。所述参考情况可为以下各项中的 一或多者:人脸进入视野、人体进入视野、人脸上表达的情绪、非人类动物脸部进入视野、非 人类动物身体进入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境 的改变、参考移动、指示下降的场景中的快速移动、指示碰撞风险的朝向对象的运动、指示 危险的场景中的移动或对象,或其任何组合。所述方法可包括:运用所述专用CV计算硬件提 供局部二进制模式(LBP)。所述方法可包括:运用级联分类器硬件检测所述传感器数据的子 集中存在参考对象,其中基于所述一或多个所计算CV特征的所述操作包括由所述级联分类 器硬件执行的操作,所述参考情况与所述参考对象相关联。所述方法可包括:在所述级联分 类器硬件检测到所述参考对象的所述存在时,通过所述第一处理单元,从所述级联分类器 硬件接收所述参考对象的所述存在的指示。所述方法可包括:禁用所述专用CV计算硬件的 至少部分以产生指示环境光感测、接近度检测、参考对象的接近度、运动检测,或其任何组 合的至少一个较低功率光学传感器读数。所述方法可进一步包括:基于所述至少一个较低 功率光学传感器读数而检测所述参考情况。所述方法可进一步包括:在以较低功率模式操 作时禁用所述专用CV计算硬件的至少部分,检测在以所述较低功率模式操作时的场景改 变;及基于所述场景改变的检测而激活所述专用CV计算硬件的所述经禁用的至少部分。运 用所述专用CV计算硬件接收来自所述传感器阵列的所述传感器数据包括:接收来自所述传 感器阵列的原始传感器数据且其中在所述接收之前不对所述传感器数据执行任何图像信 号处理。

[0010] 根据描述,一种用于确定脸部检测事件的方法可包含:运用专用计算机视觉(CV) 计算硬件接收来自传感器阵列的传感器数据;使用来自所述传感器阵列的相邻传感器像素 的读数来计算一或多个CV特征;及使用第一处理单元:依据由基于所述一或多个所计算CV 特征的操作所产生的一或多个信号而确定已检测到脸部;及响应于所述确定,产生脸部检 测事件以由第二处理单元接收。运用所述专用CV计算硬件接收来自所述传感器阵列的所述 传感器数据可包括:接收来自所述传感器阵列的原始传感器数据且其中在所述接收之前不 对所述传感器数据执行任何图像信号处理。

附图说明

[0011] 可通过参考以下图来实现对各种实施例的性质及优点的进一步理解。

[0012] 图1说明其中用户可与并有本文中所描述的特征及技术的移动装置交互的实例设 置。

[0013] 图2A为根据一个实施例的包含传感器系统及主处理器的配置的框图。

[0014] 图2B为根据一个实施例的具有传感器阵列单元、微处理器及实例外围电路214的 传感器系统的框图。

[0015] 图3A到3C为根据一些实施例说明可如何利用传感器系统的组件来提供低功率传 感器处理的框图。

[0016] 图4为根据实施例的感测动态的基于场景的情况的方法的流程图。

[0017] 图5为实例传感器阵列的简化说明。

[0018] 图6为图5的传感器阵列的实例配置的简化说明。

[0019] 图7到9为说明用于使用传感器系统进行计算机视觉计算及较低功率光学传感器 读数的实例方法的流程图。

[0020] 图10A到10B为说明用于计算机视觉计算及较低功率光学传感器读数的传感器系 统的实例状态的状态图。

[0021] 图11A到11C说明根据一些实施例的将传感器读数从多个传感器元件转换到cv特 征的过程。

[0022]图12为可利用本文中所描述的技术及特征的移动装置的实例的框图。

具体实施方式

[0023]后续描述仅提供实施例,且并不意欲限制本发明的范围、适用性或配置。确切地 说,实施例的后续描述将为所属领域的技术人员提供用于实施实施例的启用性描述。应理 解,可在不脱离本发明的范围的情况下对元件的功能及配置作出各种改变。

[0024]图1说明其中用户130可与并有本文中所描述的特征及技术的移动装置105交互的 实例设置100。此处,用户130可至少部分地经由传感器系统与移动装置105互动,所述传感 器系统具有专用相机、专用计算机视觉(CV)计算硬件及专用低功率微处理器,如下文中所 描述。这些特征使得移动装置105能够检测、跟踪、辨识及/或分析主体(例如,用户130)及相 机的视野105内的其它对象及场景。所述传感器系统使用所述所包含嵌入式处理器来处理 从所述相机检索的信息且仅在需要时或如由应用程序定义及配置时发送用于主处理器的 “事件”(或已发生一或多个参考情况的指示)。此允许通用微处理器(其通常为相对高速且 高功率以支持各种应用程序)以如常规大部分时间保持处于低功率(例如,睡眠模式),而仅 在从所述传感器系统接收事件时才变成作用中的。虽然参考移动装置105说明及描述,但应 理解,能够执行对象检测、辨识等的智能传感器可用于各种应用(包含物联网(IoT)应用) 中。

[0025]如本文中所描述,专用CV计算硬件至少部分地基于与相邻传感器元件相关联的信 号而计算或能够计算传感器阵列单元中的每一传感器元件或像素的CV特征或局部CV特征。 (本文中,术语“局部”指基于一或多个相邻传感器元件而非整个图像的统计或其它数学评 估所计算的特征。)如本文中所描述,包含主体传感器元件的传感器元件及相对靠近于主体 传感器元件的其它传感器元件可被称作相邻传感器元件。在本发明的某些方面中,相邻传 感器元件可包含主体传感器元件及紧邻近主体传感器元件的传感器元件。在本发明的某些 其它方面中,相邻传感器元件还可包含相对靠近于主体传感器元件且并非紧相邻的传感器 元件。例如,在某些情况中,从主体传感器元件起三个传感器元件内的传感器元件在多个传 感器的宽度或高度为六十四个传感器元件时仍可被视为相邻传感器元件。

[0026]如本文中所描述,CV特征或局部CV特征可指检测低级计算机视觉标记或指示符, 例如与每一传感器元件或传感器的像素相关联的标签。如下文进一步详细指示,此些CV特 征可包含例如符号梯度直方图(HSG)及/或局部二进制模式(LBP)的输出。LBP计算可基于相 邻传感器元件,例如,参考或主体传感器像素及其八个紧邻近的相邻传感器像素。LBP计算 可基于参考像素的紧邻近的相邻像素的相应强度差而对其每一者进行评分。(将针对不同 颜色通道(例如,红色、蓝色及绿色)使用不同LBP处理颜色。)HSG计算还使用相邻传感器元 件,例如,参考像素及一或多个紧邻近的相邻像素以检测场景内的各种特征。

[0027]例如,在图1的设置1〇〇中,用户130可已在移动装置105的通用微处理器处于睡眠 模式时拿起所述移动装置。然而,移动装置105的传感器系统可保持作用中且可能够(例如) 辨识用于13〇的脸部、手势、场景中的其它对象,及/或其类似者。在辨识已发生某些参考情 况时一在此状况下,用户130的特殊脸部特征在传感器系统的视野110内一传感器系统可将 指示己辨识用户130的脸部特征及/或致使移动装置的通用微处理器退出低功率模式且变 得完全作用中的事件发送到移动装置的通用微处理器。

[0028]致使传感器系统将事件发送到移动装置的通用微处理器的参考情况可取决于所 要功能性而包含各种可CV检测情况中的任一者。这些情况可包含(例如)脸部及/或对象检 测、脸部及/或对象辨识、手势辨识,及/或其类似者。在一些实施例中,一或多个参考情况可 由用户130配置。下文中提供参考情况的额外实例。

[0029]因为专用相机专用于传感器系统,所以其可能并非主要用于拍摄照片或录制视 频。因此,专用相机可不能产生基于强度的图像。替代地,专用相机可包含像素级计算机视 觉特征计算,如同LBP、梯度、边缘、HSG及/或其它运算,其中来自专用相机的相邻传感器像 素用于计算CV特征以用于所述特征的低功率的基于硬件的计算。

[0030]也就是说,尽管可使用包括专用相机的传感器系统,但实施例并不限于此。更广泛 来说,传感器系统可包含传感器阵列单元,所述传感器阵列单元包含用于感测化学、视觉、 听觉、生物、机械及/或其它类型的输入的传感器单元。

[0031] 另外,尽管图1及其它实施例描述经并入到移动装置中的传感器系统,但实施例并 不限于此。由本文中所描述的技术及特征带来的功率节省可对移动装置(例如,移动电话、 平板计算机、膝上型计算机、便携式媒体播放器及/或其类似者)具有特别益处,但其它装置 (例如,电视、桌上型计算机及/或可通常并不视为移动的其它装置)可利用本文中所描述的 特征及技术。

[0032] 图2A为根据一个实施例说明传感器系统210 (其在本文中还被称作“智能传感器”) 可如何经配置以在主处理器220可以低功率(例如,“睡眠”或“备用”)模式操作的同时实现 高级感测操作的框图。图2A的组件可并入到较大电子装置。下文关于图5描述可传感器系统 210可并入其中的移动装置的实例。

[0033] 此外,应理解,替代实施例可不同于图2A中所展示的组件。例如,如下文所描述,传 感器系统210的实施例可或可不包含外围电路214、微处理器216及/或存储器218。另外或替 代地,实施例可取决于所要功能性而组合、分离、添加、省略及/或重新布置图2A的组件。例 如,在传感器系统210包括传感器阵列(例如,像素阵列或相机),可利用一些光学器件来在 输入(例如,光)到达传感器阵列之前操纵所述输入(例如,光)。应注意,尽管实施例在本文 中描述“图像阵列”的使用,但实施例并不限于此,可更广泛地使用未必产生或捕获图像的 传感器阵列。(图2B (在下文更详细描述)根据一个实施例说明具有传感器阵列单元212、微 处理器216及实例外围电路214的传感器系统210。)

[0034] 如图2A中所说明,接收输入的传感器系统210可包括传感器阵列单元212、外围电 路214、微处理器216及/或存储器218。电子传感器可通过有线或无线连接与电子装置的主 处理器220 (例如,移动电话的应用程序处理器)以通信方式耦合,此可提供查询到传感器系 统210且从传感器系统210接收事件及/或其它触发。在一些实施例中,“主处理器”220可简 单地对应于比微处理器216大(例如,在处理能力方面较大及/或在电力使用方面较大)的处 理单元。在一些实施方案中,微处理器216可对应于专用微处理器或第一处理单元且可经配 置以消耗比主处理器220 (其可对应于第二处理单元)少的功率。 t0035] 取决于电子传感器的所要功能性,所使用传感器阵列单元212的类型可变化。如先 前所指示,传感器阵列单元212可包含用于感测化学、视觉、听觉、生物、机械及/或其它类型 的输入的传感器单元的阵列(例如,一维或二维阵列)。例如,传感器阵列单元212可包括相 机传感器或其它视觉及/或传感器阵列,其中多个传感器单元形成像素网格。

[0036]在一些实施例中,传感器阵列单元212可包含“智能”阵列,所述“智能”阵列包含借 以可对传感器单元的一或多个输出执行操作的一些额外存储器及/或逻辑电路。在一些实 施例中,传感器阵列中的每一传感器像素可与存储器及/或逻辑电路耦合,所述存储器及/ 或逻辑电路可为或可并非外围电路214的部分(下文更详细地论述)。除传感器单元的原始 传感器读数外或作为其替代方案,传感器阵列单元212及/或外围电路的输出可包含输出。 例如,在一些实施例中,传感器阵列单元212及/或外围电路可包含专用CV计算硬件,所述专 用CV计算硬件经配置以从包括多于一个传感器像素的传感器阵列单元212的传感器阵列接 收图像数据。可接着使用来自传感器阵列的相邻传感器像素的读数通过专用CV计算硬件来 计算或提取CV特征,从而提供例如所计算HSG及/或LBP特征、标签或描述符的输出。在一些 实施例中,传感器阵列单元212与专用CV计算硬件之间可未安置任何图像信号处理电路。换 句话说,专用CV计算硬件可在对原始传感器数据执行任何图像信号处理之前从传感器阵列 单元212接收原始传感器数据。其它CV计算基于其它CV计算算法(包含边缘检测、拐角检测、 标度不变特征变换(或SIFT)、快速鲁棒特征(SURF)、定向梯度直方图(H0G)、局部三进制模 式(LTP)等,以及上述中的任何者的扩展)也是可能的。

[0037]传感器阵列单元212的同步性(或异步性)也可取决于所要功能性。在一些实施例 中,例如,传感器阵列单元212可包括传统(g卩,“基于帧”)相机,其中读出电路经定时以基于 某些时序要求而提供对每一像素的周期性采样。在一些实施例中,传感器阵列单元212可包 括事件驱动阵列,通过所述事件驱动阵列可在传感器读数或其它输出到达某一阈值及/或 改变某一阈值时确定传感器输出,而非按照特定采样率(或除特定采样率外)针对“智能”阵 列,如上文所论述,传感器读数或其它输出可包含额外存储器及/或逻辑的输出(例如,来自 智能传感器阵列的HSG或LBP输出)。在一个实施例中,智能传感器阵列可包括动态视觉传感 器(DVS),其中针对智能传感器阵列中的每一像素,在像素值从先前值改变阈值量时异步地 输出所述值。在一些实施方案中,传感器阵列单元212可为混合帧事件驱动阵列,其以给定 帧速率读取值,但因仅读取从上一读取起已改变的阵列中的元件的值而节省功率。

[0038] 外围电路214还可取决于电子传感器的所要功能性而变化。外围电路214可经配置 以接收来自传感器阵列单元212的信息。在一些实施例中,外围电路214可接收来自传感器 阵列单元212内的一些或所有像素、传感器阵列电压212的像素中电路的一些或全部(在具 有显著像素中电路的实施方案)或两者的信息。针对其中传感器阵列单元212提供同步输出 的实施例,例如,外围电路可对传感器阵列单元输出提供定时及/或控制操作(例如,执行基 于帧及/或类似定时)。由外围电路214提供的其它功能性可包含事件排队及/或处理操作、 模拟处理、模/数转换、积分操作(例如,像素值的一维或二维积分)、CV特征计算、对象分类 (例如,基于级联分类器的分类或基于直方图的分类),或直方图操作、存储器缓冲或其任何 组合,“像素框值总和”、“相邻像素值比较及取阈值”、“矢量点积计算”,及其类似者。在各种 实施方案中,用于执行此功能性的装置可包含(例如)外围电路214。在一些实施例中,外围 电路214耦合到传感器阵列单元212的传感器单元输出且并不包含微处理器或其它处理单 元。关于图2B,下文中包含外围电路214的一些实例。

[0039] 这就是说,一些实施例可进一步包含耦合到外围电路214的输出的微处理器216。 微处理器216通常可包括处理单元,所述处理单元相对于主处理器220以相对低功率操作。 在一些实施方案中,微处理器216可使用其特有程序(例如,基于软件)及数据存储器来进一 步执行计算机视觉及/或机器学习算法(其可基于帧及/或基于事件)。因此,微处理器216能 够在主处理器220以低功率模式操作的同时基于由传感器阵列单元212接收的输入执行计 算机视觉及/或机器学习功能。在微处理器216确定已发生需要到主处理器220的输出的事 件时,微处理器216可将事件传达到主处理器220,此可使主处理器220离开其低功率模式且 进入正常操作模式。

[0040] 任选地,在一些实施例中,可在将微处理器216的输出中继到主处理器220之前进 一步将其提供到存储器218。存储器218可包含由微处理器216基于将哪些事件或触发发送 到主处理器220所维持的工作存储器及/或数据结构。存储器可用于(例如)存储图像、跟踪 所检测对象,及/或执行如下文关于图2B更详细论述的其它操作。另外或替代地,存储器218 可包含主处理器220可从传感器系统210查询的信息。主处理器220可执行应用程序软件、算 法等222,其中的一些可进一步利用从传感器系统210接收的信息。

[0041] 如先前所述,传感器系统210独立于主处理器220执行某些功能的能力(例如,图像 处理及/或计算机视觉功能)可在电子装置中提供大量功率、速度及存储器节省,所述电子 装置原本必须利用主处理器220来执行传感器系统210的功能中的一些或全部。特定来说, 传感器阵列单元212、外围电路214及微处理器216的组合允许能够在由图像阵列捕获的动 态改变场景中检测情况的场景理解。

[0042]在一个实例中,具有图2A中所展示的配置的移动电话可使用脸部检测来退出备用 模式。在此实例中,移动电话进入备用模式中,在所述备用模式中,移动电话的显示器被断 电,且主处理器22〇以低功率睡眠模式操作。然而,传感器系统210及作为传感器阵列单元 212的图像阵列继续操作,从而在对象进入及退出图像阵列的视野时处理来自传感器阵列 212的数据。当脸部进入图像阵列的视野时(例如在图1中,当用户130的脸部进入移动装置 105的视野110中时),其可能被传感器阵列单元212、外围电路214、微处理器216或其任何组 合检测到。如果所检测到的脸部保持在图像阵列的视野中达阈限时间周期(例如,〇. 5秒、;L 秒、2秒等),那么微处理器2丨6可将脸部检测事件发送到主处理器22〇,指示己发生脸部检 测。主处理器22〇及移动电话的显示器可接着切换回到正常操作模式。

[0043]如本文中别处所述,事件可为已发生一或多个参考情况的指示。更广泛来说,事件 可包含与参考情况相关的数据。取决于所要功能性,包含在事件中的数据可指示所检测的 参考对象、与参考对象有关的位置信息、参考对象的数据、与所检测的参考对象相关联的移 动,及其类似者。此数据可以各种方式中的任一者传达。例如,在对象检测的状况中,事件可 为简单的二进制输出,其中“0”意味着尚未检测到参考对象,且“ i,,意味着已检测到参考对 象。

[0044]事件可包含除已发生参考情况的指示外的信息。例如,事件还可包含与参考情况 相关联的一些数据。在一些实施例中,事件可包含n位/字节消息或多域消息,其中每一位或 域经映射到特定数据段。例如,事件可包含输出,其中第一位/域指示是否已检测到对象,第 二位/域指示对象是在移动还是静止,第三位/域涉及对象的位置(或与位置相关的信息,例 如,限界对象的最小框的四个拐角,或对象的拐角的位置,等),第四位/域涉及检测到的对 象的数目等。一般来说,事件可包含任何数据(包含硬件计算CV特征),或以任何方式与参考 情况相关联的图像(除仅参考情况外还包含与参考情况有关的测量或计算)。

[0045]取决于所要功能性,参考情况可包含各种触发(例如脸部或其它对象检测事件,手 势事件,脸部及/或参考对象检测及/或辨识,及其类似者)中的任一者。可使用各种脸部检 测算的中的任一者实施的脸部检测可包含人脸或非人类动物脸部(例如,狗、猫或其它宠 物)进入视野,或人体或非人类动物身体进入视野。此对象“进入视野”可为对象的移动及/ 或相机的移动的结果。参考情况可能超过脸部检测以从各种脸部特征及/或指示表情的那 些特征的位置的分析来确定人脸的情绪或其它表情。另外或替代地,参考情况可包含对额 外对象及/或对象移动的检测及/或辨识,例如,人手进入视野、手势、参考对象(例如,某些 对象、标识或其它参考对象)进入视野,及其类似者。在一些实施例中,传感器系统210可经 预经配置以检测某些参考对象。另外或替代地,由传感器系统210进行检测及/或辨识的对 象可通过用户及/或由主处理器220执行的应用程序选择。参考情况可包含所检测到的环境 改变(例如从室内环境到室外环境的改变)、参考移动、场景中的快速移动(例如,指示降 落)、朝向对象的运动(例如,指示碰撞的风险)、指示危险的场景中的移动或对象(例如,火 灾或火灾检测),或其任何组合。在一些实施方案中,参考情况可与参考对象的检测有关,或 基于参考对象的检测,如下文在图2B及本文中的别处进一步详细描述。在一些实施方案中, 一旦在图像帧中检测到参考对象,那么微处理器216可检查以查看是否在随后图像帧中随 后检测到相同对象。微处理器216可使用从外围电路214接收到或由微处理器216自身产生 的位置信息及与所检测到对象相关联的其它数据来确定参考情况的情况,此可基于参考对 象的检测。再次参考上一段中的脸部检测的实例,如果对脸部(参考对象)的检测保持在图 像阵列的视野达阈限时间周期,那么可发生脸部检测(参考情况),导致将对应的脸部检测 事件发送到主处理器220。

[0046]图2B说明例如图2A的传感器系统210的传感器系统的实例实施方案,包含传感器 阵列单元、CV计算硬件及微处理器,所述微处理器包含用于与第二微处理器进行通信的接 口。传感器阵列单元212可包含相关双采样电路。例如,在其中使用组合式像素值或较低分 辨率改进CV计算的实施方案中,传感器阵列单元212还可包含用以在将传感器元件或像素 信号或值输出到线缓冲器230之前对所述信号进行组合、求和或求平均的电路。线缓冲器 23〇可包含一或多个线缓冲器以将表示图像或图像的部分的信号从传感器阵列单元212传 送到视觉传感器的其它部分。在一些实施方案中,传感器元件阵列212 (与更多常规传感器 阵列单元不同)可不包含用于图像信号处理(ISP)电路,且因此图2B说明其中未使用中间 ISP电路来连接传感器阵列单元212及CV计算硬件242的实施方案,因此,在一些实施方案 中,传感器阵列单元212与硬件扫描窗口阵列238或专用CV计算硬件242之间未安置任何ISP ,路。例如,在一些实施方案中,由CV计算硬件242从传感器阵列单元212接收的信号尚未经 受ISP,例如,信号尚未经受缺陷校正、白色平衡、颜色平衡、自动聚焦、透镜衰减、去马赛克、 去拜耳化或图像清晰化或其任何组合中的一或多者。然而,在一些此类无〗^实时方案中, 一些处理可发生,例如聚焦或自动曝光校正。尚未经历Isp的此些信号可被称作原始信号或 原始传感器读数或原始传感器数据。原始信号、原始传感器读数或原始传感器数据可经转 换成数字,经积分以形成积分图像,经存储在扫描窗口中,且专用CV计算硬件可经配置以接 收原始信号、原始传感器读数,或原始传感器数据,但应理解原始信号、原始传感器读数或 原始传感器数据已经历某一数据操纵(包含求和或积分),但尚未经历ISP。在一个实施方案 中,传感器阵列单元212为无ISP电路的四分之一视频图形阵列(QVGA)相机传感器,其中阵 列包括216 X 240个传感器元件。

[0047]在各种实施方案中,CV计算硬件242可在数字或模拟域中执行CV计算。因此,任选 地,在数字实施方案中,模/数转换器(ADC) 234可安置在线缓冲器230与CV计算硬件242之 间。在一些实施方案中,CV计算硬件242在其为经设计以几乎不具有除计算CV特征、标签或 描述符外的功能性的硬件的意义上为专用CV计算硬件。

[0048]在一些实施方案中,CV计算硬件242可使用与传感器元件或像素的块相关联的信 号的组合、和或平均数。在此些实施方案中,积分图像可在输入到CV计算硬件242之前用于 计算此些组合、和或平均数。例如,为对多于四个像素进行求和(例如,针对大于2 X 2 (例如, 3X3或11X11)的块),使用积分图像,求和可能快得多,这是因为仅需要进行加或减四个值 来确定积分图像中的像素值的和,而非针对相应3 X 3或11 X 11图像块对9或121个值进行求 和。因此,任选地,视觉传感器还可包含二维积分硬件236,所述二维积分硬件用于基于表示 由传感器阵列单元中的至少一子组传感器元件(例如,像素)取样的图像的信号中的至少一 子集来计算图像的至少一部分的积分图像。如所说明,二维积分计算硬件236可与专用CV计 算硬件242通信。如先前所述,与直接加总传感器元件的块的信号值相比,可使用表示由传 感器阵列单元取样的图像的积分图像及/或由传感器阵列单元取样的图像的一部分的积分 图像来对所述信号值进行更快速地组合、求和或求平均。二维积分硬件236可包含能够基于 来自传感器阵列212的原始信号而在数字或模拟域中产生表示由传感器阵列单元取样的图 像的全部或部分的积分图像的信号的电路。在一些实施方案中,由二维积分硬件236产生的 积分图像(其可为的由传感器阵列单元取样的图像的仅一部分或取样窗口的积分图像)可 经存储在硬件扫描窗口阵列238中,如图2B中所说明。例如,硬件扫描窗口阵列可包含用于 存储积分图像的随机存取存储器(RAM)阵列或其它形式的模拟或数字存储器。在其中计算 对应于传感器元件的块的信号的组合、和或平均数没有用(例如,像素级LBP)的实施方案 中,应理解,可不包含二维积分硬件236,且因此包含来自传感器阵列单元230的模拟原始信 号或来自ADC 234的经转换成数字的原始信号的取样窗口可经直接地存储在硬件扫描窗口 阵列238中。此外,应理解,在一些实施方案中,二维积分硬件236另外或替代地可执行一维 积分。类似地,硬件扫描窗口阵列238可存储对应于由传感器阵列230捕获的图像的取样窗 口的一维积分图像。使用一维积分图像可允许(例如)使用旋转块来计算多块LBP以便检测 旋转参考对象(例如,脸部)。任选地,可在二维积分硬件236之前或之后使用帧缓冲器(未说 明)。在帧缓冲器经安置在二维积分硬件236之前的实施方案中,可将整个帧或图像从传感 器阵列单元212传送到帧缓冲器中。二维积分硬件236可接着产生经存储在帧缓冲器中的图 像的部分或窗口的积分图像并将此些窗口存储在硬件扫描窗口阵列238中。替代地,二维积 分硬件236可积分整个图像并将整个积分图像存储在安置在二维积分硬件236与硬件扫描 窗口阵列238之间的帧缓冲器中,在此状况下,存储在帧缓冲器中的积分图像的窗口可存储 在扫描窗口阵列238中。然而,应理解,帧缓冲器为选用的,且二维积分硬件236可接收来自 的传感器阵列单元212的对应于图像的窗口或部分的数据且立即积分窗口或部分且将此些 积分图像窗口存储在硬件扫描窗口阵列238中。

[0049] 视觉传感器还可包含CV计算硬件242。在一些实施方案中,CV计算硬件可至少部分 地基于与接近于传感器元件块的多个相邻传感器元件相关联的信号而计算一或多个主体 传感器元件块的局部CV特征。例如,在CV计算硬件的局部二进制模式(LBP)实施方案中,CV 计算硬件可包含硬件,所述硬件接收对应于原始图像信号的信号值一或原始图像信号的组 合、和或平均数(例如,使用积分图像产生)一且基于原始图像信号而产生数字LBP标签或矢 量。在其中计算多块LBP的实施方案中,一或多个主体传感器元件的块可包含mXn个传感器 元件(例如,11 XII个传感器元件)的块。还应理解,也可进行像素级LBP计算,其中其局部CV 特征经计算的一或多个主体传感器元件的块为单个主体传感器元件。尽管上文所提及的CV 计算硬件312经描述为与专用微处理器320分离,但应理解在一些实施方案中,专用CV计算 硬件312可以专用微处理器320内的硬件实施。

[0050]与在处理器(例如,通用处理器,例如应用程序处理器或甚至微处理器216)中计算 CV特征(例如,上文所论述的LBP标签)相比,在专用硬件中产生所述CV特征可降低视觉传感 器的功率。然而,视觉传感器可仍包含耦合到CV计算硬件242的微处理器216以执行除CV特 征计算外的功能,例如,除CV特征计算外与CV相关操作或计算,或执行与使用CV特征计算硬 件242执行的计算有关的额外CV特征计算。微处理器216接收来自CV计算硬件238的硬件计 算CV特征且可执行较高级计算机视觉操作,例如,对象分类检测(其中脸部检测可被视为特 定状况,而其它实例包含上部躯干、行人及汽车),其中任务为发现图像中属于给定分类的 所有对象的位置及大小,以及其它计算机视觉操作。此外,微处理器216可将控制信号提供 到线缓冲器230、ADC 234、二维积分硬件236、硬件扫描窗口阵列238及CV计算硬件242。在一 些实施方案中,为执行对象分类检测或其它计算机视觉操作,微处理器216可使用级联分类 器算法来执行对象分类检测,例如,脸部检测。在任选实施方案中,进一步功率节省是通过 在硬件中实施级联分类器来进一步减少微处理器216上的计算负担变得可能。

[0051] 任选级联分类器硬件244包含的级联分类器的硬件实施方案。在一些实施方案中, 使用机器学习技术就包含参考对象的实例的图像的数据集对级联分类器进行训练,级联分 类器将经训练以检测或分类非对象的实例(例如,脸部及非脸部的图像),或汽车及非汽车 的图像,或上部躯干及非上部躯干的图像等。例如,在第一阶段中,级联分类器硬件可请求 CV计算硬件242计算关于存储在(例如)硬件扫描窗口阵列238中的特定数目⑴个主体传感 器元件的LBP特征。另外,级联分类器硬件244还将提供主体传感器元件的位置{ (xii, yn),…(xn,yn)}。一旦CV计算硬件242计算并提供所请求LBP特征(其可被视为矢量值),级 联分类器硬件执行LBP特征中的每一者的点积与一或多个权数的求和以产生第一经加权重 标量和值。一般来说,将使每一LBP特征(LBPn,…,LBPii)乘以给定权数(wii,…,wn),每一权 数可不同。接着将第一经加权重标量和值与第一阈值进行比较。如果标量和小于阈值,那么 根据给定概率,由存储在硬件扫描窗口阵列238中的信号表示的图像的部分中不存在任何 参考对象,且因此级联分类器硬件244发送信号到硬件扫描窗口阵列238,且任选地,到视觉 传感器的其它组件(例如,线缓冲器230及传感器阵列单元212)以指示硬件扫描窗口阵列 238应继续扫描及加总一或多个新列及/或行以及移除一或多个旧列及/或行。在图像的后 续窗口或对应于传感器阵列单元的后续传感器元件子组的后续多个信号经存储在硬件扫 描窗口阵列238中的情况下,过程可重新开始。应理解,图像的后续窗口可与图像的上一窗 口大部分重叠。在一些实施方案中,从左到右扫描图像且一旦到达传感器阵列单元212的末 端,即可在向下移动一或多个行之后再次从左到右扫描图像。在另一实施方案中,可在向下 移位一或多个行之后从右到左扫描图像,此可允许与先前图像的增加重叠。

[0052]如果标量和相反地大于第一阈值,那么级联分类器硬件244移动到下一阶段。在下 一(在此实例中,第二)阶段中,级联分类器硬件再次请求CV计算硬件242提供存储在硬件扫 描窗口阵列238中的关于位置{(X21,y2i),…(X2m,y2m)}处的m个主体传感器元件的LBP特征。 一旦CV计算硬件242计算并提供所请求LBP特征(LBP21,…,LBP2m),级联分类器硬件244执行 LBP特征中的每一者的点积与一或多个权数(W21,…,W2m)的另一求和以产生第二经加权重 标量和值。接着将第二经加权重标量和值与第二阈值进行比较。如果标量和小于第二阈值, 那么存在参考对象存在于由存储在硬件扫描窗口阵列238中的信号表示的图像的部分中的 低可能性,且级联分类器将信号发送到视觉传感器阵列中的其它组件以继续扫描且移动到 图像的下一部分。如果第二经加权标量和值大于第二阈值,那么处理继续到第三阶段,如上 文所描述。在最终阶段(例如N阶段级联分类器中的第N阶段)结束时,如果第N经加权标量和 值大于第N阈值,那么在存储在硬件扫描窗口阵列us中的图像的部分中检测参考对象。级 联分类器硬件244可接着向微处理器2ie指示己检测到参考对象,且可进一步任选地指示其 中检测到参考对象或参考对象的部分的图像的部分的位置。一般来说,级联分类器硬件244 可经配置以将检测到参考对象的指示连同与参考对象相关联的数据(例如,在检测参考对 象的过程中计算的CV特征、那些CV特征在图像内的位置或与由CV计算硬件242及/或级联分 类器硬件244执行的计算或操作相关联的任何其它数据中的全部或一些)一起发送到微处 理器216。

[0053]硬件扫描窗口阵列238内的主体传感器元件(在每一阶段计算其LBP特征、标签或 矢量)的数目及位置经大体编程到级联分类器硬件244中且从上文所论述的机器学习训练 得出。类似地,用以乘以LBP特征中的每一者的权数也是大体在机器学期训练期间经确定且 接着经编程到级联分类器硬件244中。阶段的数目也由训练得出,且经编程到级联分类器硬 件244。在一些实施方案中,级联分类器可包含1到31个阶段,例如,15个阶段。在一些实施方 案中,级联分类器可包含1到31个阶段,例如,15个阶段。在一些实施方案中,级联分类器硬 件244可在其为经设计以执行级联分类器功能且几乎不执行其它显著功能的硬件的意义下 被视为专用级联分类器硬件。虽然上文所描述的实施方案涉及级联分类器基于经编程权数 及阈值(基于先前在实验室中训练及机器学习)以产生模型,但应理解级联分类器硬件244, 或经设计以基于从CV计算硬件242接收的硬件计算CV特征执行CV操作的的外围电路中的其 它硬件可经设计以现场执行机器学习。

[0054] 在刚所描述的实施方案中,微处理器216可接着确定如何处理(例如)参考对象检 测事件。例如,其可将事件发送到第二微处理器。在一些实施方案中,微处理器216及第二微 处理器可对应于图2A的微处理器216及主处理器220。如图2B中所说明,微处理器216包含用 于与第二微处理器通信的接口 246。另外或替代地,微处理器216可随时间跟踪所检测参考 对象的位置(例如,在多个图像上)以确定(例如)用于手势辨识的移动、碰撞的风险、危险 及/或其它事件。

[0055]更特定来说,一些实施例可通过首先检测对象接着确定其它特征来实现广泛范围 的功能性。在此些实施例,可经由外围电路(例如,级联分类器硬件244及/或其它专用硬件) 进行对象检测,且可由微处理器216执行额外操作。例如,可首先通过对象的检测,接着(例 如,使用微处理器)在对象已处于相机的视野中达临限时间周期的确定来确定对象进入视 野。如上文所述,可通过检测手势控制对象(例如,手),接着确定手的移动来进行手势检测。 可通过检测对象及确定指示与对象碰撞的风险的移动(例如,通过相机、通过相机的视野内 的第二对象,等)来确定碰撞风险。所属领域的技术人员将认识到实施例可包含上述特征的 任何组合,及/或这些特征的变化。

[0056] 尽管上文的描述将级联分类器硬件244称作与微处理器216分离,但应理解在一些 实施方案中,级联分类器硬件244可在微处理器216内的硬件中实施。此外,级联分类器硬件 244可在一些实施方案中经赋予某一控制功能性以允许其(如所说明)控制CV计算硬件242 及硬件扫描窗口阵列238。如此,级联分类器硬件242可自动从微处理器216检测特征,且因 此微处理器216可在级联分类器硬件244执行其功能的同时处于低功率状态。如此,智能传 感器可基于一或多个所计算CV特征而执行较低功率操作,且在(例如)检测到对象时,级联 分类器硬件242可提供事件(包含数据,例如到微处理器216的传感器读数)以唤醒微处理器 216。微处理器216可接着确定下一动作过程,例如,将通过接口 246将事件发送到第二微处 理器。应理解,甚至在低功率状态中,微处理器216可在一些实施方案中仍将控制信号提供 到传感器阵列单元212、线缓冲器230,等,或另外或替代地,此些控制信号可通过较低功率 控制逻辑来提供。替代地,级联分类器可在微处理器216上作为软件算法运行。此外,其它软 件算法可替代级联分类器在微处理器上运行。例如,可使用直方图来执行参考对象检测,如 图11C中所描述。在一些此类实施方案中,可将针对存储在扫描窗口阵列238中的图像的样 本窗口所计算的所有LBP标签的直方图与参考直方图进行比较以检测存储在扫描窗口阵列 238的样本窗口中的脸部的存在。在一些实施方案中,专用硬件可经实施以使用直方图检测 (例如)脸部。替换级联分类器硬件244或除其外,此实施方案可包含此类专用硬件。

[0057] 在图2B中所说明的实施方案中,线缓冲器230、ADC 234、二维积分硬件236、硬件扫 描窗口阵列238、CV计算硬件242、级联分类器硬件244或其任何组合中的一者或多者可被视 为外围电路,所述外围电路为在传感器阵列单元212外部的电路且可对应于图2A的外围电 路214。还应理解,刚刚所列举的各种组件或其任何组合可经实施代替作为传感器阵列单元 212内的像素中电路。 t〇〇58]图3A到3C为说明可如何利用传感器系统210的组件来提供低功率传感器处理的框 图。此处,仅说明某些组件。应理解,传感器系统可具有额外组件,如图2A及2B中所展示。 [0059] 在图3A中,外围电路214与传感器阵列单元212的多个传感器单元输出耦合。传感 器阵列单元212及/或外围电路214包含专用CV计算硬件以使用多个传感器单元输出中的至 少一子集来执行特征检测计算,其中多个传感器单元输出中的所述子集对应于包括相邻传 感器单元或像素的传感器阵列单元212的区域(例如,图像阵列)。因此,外围电路214的输出 基于(至少部分地)特征检测计算。此特征检测计算可包含使用可提供特征检测(例如,边缘 检测、线检测,等)的传感器阵列单元212的相邻传感器单元或像素的各种计算中的任何者。 此些特征检测计算包含(例如)LBP、HSG,及其类似者。在一些实施例中,专用CV计算硬件可 包括集成电路。

[0060] 在图3B中,第一处理单元217与智能图像阵列213的一或多个输出以通信方式耦 合,其中多个传感器像素与存储器及/或逻辑电路耦合。此处,第一处理单元217可对应于图 2A及2B的微处理器216,且智能图像阵列213可对应于图2A及图2B的传感器阵列单元212。智 能图像阵列213可包含用于计算CV特征的专用CV计算硬件,所述CV特征使用来自相邻传感 器像素的读数来计算,如上文关于图3A及/或图2B所描述。如图2A及2B中所展示,这两个组 件可并非彼此直接耦合,而是可具有中间电路。第一处理单元217处理从智能图像阵列的一 或多个输出接收的信号以检测参考情况。第一处理单元217接着产生事件(指示参考情况) 以由第二处理单元(例如,图2A的主处理器220)接收。

[0061]事件可基于处理由基于一或多个所计算CV特征的操作所产生的信号而产生。此些 操作可在一些实施方案中包含由级联分类器(例如,图2B的级联分类器硬件244)执行以检 测脸部的操作或计算。事件是基于处理由那些操作所产生的信号而产生可因此包含微处理 器处理信号,例如来自级联分类器的检测参考对象的指示。指示可包含与所检测对象相关 联的数据,例如,位置、相关联LBP特征及其位置,及/或图像数据自身。此使得微处理器能够 通过在未检测到任何参考对象时不分析图像数据来节省能量。

[0062] 在图3C中,设置类似于图3B。此处,第一处理单元217与图像阵列215的一或多个输 出以通信方式耦合。此外,第一处理单元217可对应于图2A及/或2B的微处理器216,且图像 阵列215可类似地对应于图2A及/或2B的传感器阵列单元212。然而,在此实施例中,第一处 理单元217确定己检测到脸部且产生用于第二处理单元的脸部检测事件。取决于所要功能 性,第一处理单元217可操作以使用从图像阵列215的一或多个输出接收的一或多个信号来 检测脸部。

[0063]图4为根据实施例说明感测动态的基于场景的情况的方法400的流程图。如同本文 中所提供的其它图,图4经提供作为非限制性实例。替代实施例可包含图中所展示的功能性 额外的功能性,及/或图中的块中的一或多者所展示的功能性可同时被省略、组合、分离及/ 或执行。用于执行块的功能性的装置可包含电子装置的一或多个硬件及/或软件组件,例 如,图5中所说明及下文所描述的移动装置的一或多个组件。熟习此项技术者将认识到许多 变化。

[0064] 方法400可在方框410处开始,其中专用CV硬件接收来自传感器阵列的图像数据。 图像数据可包含来自传感器阵列的多个图像像素的传感器读数。如先前所指示,专用CV硬 件可实施于及/或并入到图2A的传感器阵列单元212及/或外围电路214中。(传感器阵列可 被包含在传感器阵列单元212中。)

[0065] 在方框420处,通过专用CV计算硬件使用来自传感器阵列的相邻传感器像素的读 数来计算一或多个CV特征。此处,CV特征可包含边缘、线及其类似者,其可使用(例如)LBP、 HSG及/或其它计算来计算。专用CV计算硬件的使用可实现快速及高效计算而无需使用相对 较高量的能量及/或处理功率。

[0066] 在方框425处,基于一或多个CV特征执行一或多个CV操作。如先前所述,在外围电 路中可进行此些操作。例如,如关于图2B所描述,级联分类器可执行操作以检测脸部或其它 对象,且将指示对脸部或其它对象的检测的信号提供到微处理器。然而,如下文所述,基于 一或多个CV特征执行CV操作可通过外围电路(例如,专用硬件)及/或微处理器或两者来执 行。执行CV操作的硬件及/或软件组件可产生输出信号(例如,级联分类器的输出,直接从CV 计算HW接收的指示LBP计算的信号,在微处理器内内部产生的信号,等)。微处理器将使用这 些信号中的一或多者来确定已发生参考情况(例如,脸部检测)。

[0067] 在方框43〇处,确定已发生参考情况。如先前所指示,参考情况可包含各种事件中 的一或多者。这些事件可包含(例如)人脸进入视野、人脸上表达的情绪、非人类动物脸部进 入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境的改变、参考移 动、场景中指示下落的快速移动、指示碰撞风险的朝向对象的运动、场景中指示危险的移动 或对象,或其任何组合。在一些实施例中,这些参考情况可为预定义及/或用户可配置的。 [0068] 在方框440处,产生用于第二处理单元的事件,其中事件指示参考情况。如本文中 所使用,术语“事件”描述经提供到处理单元指示参考情况的信息。此处,将事件提供到第二 处理单元。在一些实施例中,事件可简单地包含已发生参考情况的指示。在一些实施例中, 事件可进一步包含检测到的参考情况的类型的指示。事件可由第一处理单元产生且发送到 第二处理单元。在一些实施例中,在第一处理单元与第二处理单元之间可存在中间电路。 [0069]可注意,由图4中所说明的各种方框执行的功能性可由传感器系统(例如,图2A及 2B的传感器系统210)的各种组件执行,此取决于所要功能性。方框410及420的功能性(例 如)可由像素中或外围电路(例如,CV计算硬件)执行。方框425的功能性(例如)可由微处理 器或专用硬件(例如,级联分类器或其它专用硬件)执行。在一些实施例中,方框425、430及 440的功能性可全部由微处理器执行。替代地,一些实施例可运用外围电路执行方框425的 功能性,且运用微处理器执行方框430及440的功能性。所属领域的技术人员将认识到数个 变化形式。

[0070]再次参考图2A,本文中所描述的传感器系统210的实施例可进一步执行涉及在相 应较低功率及较高功率模式中所使用的功率或能量消耗的不同类型的功能(例如,较低功 率操作及较高功率操作)。在较高功率模式中,例如,传感器系统可通过利用如本文中所描 述非专用CV计算硬件来在传感器系统210自身内提供图像处理能力。应理解,本文中“较低 功率”及“较高功率”的使用意欲为相对的。换句话说,甚至在较高功率模式中,所描述的传 感器系统仍可能够使用比运用在软件中运行CV算法的微处理器来执行那些相同基于CV计 算低的功率来基于硬件计算CV特征执行强大的基于CV的计算。如先前所详述,专用CV计算 硬件可包含并入到传感器阵列单元212中的像素中电路,其可包含用于一些或全部像素的 电路,能够对每一相应像素执行处理,例如,检测相对于一或多个相邻像素的经感测光强 度,基于经感测光的颜色或强度相对于相邻像素的差异而检测对象的边缘,及/或进行LBP、 HSG及/或其它CV计算。专用CV计算硬件可进一步包含外围电路214,所述外围电路可另外或 替代地用于像素中电路来执行这些计算中的一些或全部。实施例可在不需要较高功率操作 时禁用或以其它方式以低功率模式操作传感器系统210的此专用CV计算硬件中的一些或全 部,此可节省功率。因此,如本文中所描述,较高功率操作涉及专用CV计算硬件(例如,传感 器阵列单元212中的像素中电路及/或外围电路214),而在专用CV计算硬件中的一些或全部 经禁用或处于减少功率状态中时执行较低功率操作。

[0071] 在一个实例中,传感器系统210可配置传感器阵列单元212以作为单个像素操作。 在此状况下,传感器系统210可禁用所有像素中电路及/或外围电路214。在此配置中,阵列 的个别像素中的每一者有助于整个传感器阵列的单个感测值。

[0072]图5展示对图2A的传感器阵列单元212的简化说明。在传感器阵列单元212中,像素 510经布置成行及列且放置在接收光学器件的聚焦平面中以提供图像捕获。(为清楚起见, 仅图5中的一些像素510具有数个标签。)应理解,传感器阵列单元的特征(例如,像素大小、 纵横比、分辨率及其类似者)可取决于所要功能性而变化。例如,图5的简化说明展示10 X 1〇 像素阵列,但实施例可具有数百、数千或数百万像素(或更多)。

[0073]如先前所指示,每一像素510可包含传感器以及像素中电路以对像素510执行CV计 算。另外或替代地,外围电路可经包含以对像素执行CV计算,如本文中别处所指示。继续上 述实例,传感器阵列单元212的像素中电路及/或外围电路中的一或多个组件可经禁用以使 得传感器阵列单元212能够以功率高效方式执行较低功率操作以(例如)关断除一个像素外 的所有像素,或读取并组合来自所有像素的感测值以仅作为单个像素有效地操作(被称作 “单像素模式”)。在此配置中,传感器系统210经配置以执行一或多个较低功率操作,例如, 环境光感测(ALS)、接近度检测(PD)、接近参考对象检测,或运动检测。在一些状况下,可使 用具有仅单个像素的传感器阵列来充分地执行这些功能中的每一者。

[0074]另外或替代地,传感器阵列单元212可在较低分辨率配置中实现传感器阵列单元 212可作为多个像素操作,而非实际上仅作为单个像素操作。如在图6中所展示,传感器阵列 单元212的像素510的子群组610可各自以类似于上文所描述的单像素模式的方式操作,因 此作为具有多个像素的传感器有效地操作(在图6的配置中,四个子群组610有效地形成2 X 2像素阵列)。再次,例如,传感器系统210的专用CV计算硬件中的一些或全部(例如,外围电 路214及/或传感器阵列单元212的像素中电路)可在此模式期间被禁用。在此配置中,传感 器系统210可执行一或多个较低功率操作,例如ALS、PD、改变检测(CD),或运动检测。虽然图 6的实例使用2X2像素的视在分辨率,但可配置其它降低的分辨率。此外,此降低的分辨率 可包含聚集多个个别像素510以共同作为一些数目个像素操作,或可包含禁用传感器阵列 单元212中的像素510中的一或多者使得像素不感测光或在其经禁用时不提供输出。

[0075]如同关于图3A到3C所描述的操作,传感器系统210可经配置以在其以较低功率操 作的同时检测一或多个参考情况且产生一或多个对应的事件。例如,传感器系统210可并入 到移动电话中且经配置以在单个像素310的感测值指示由传感器系统210检测的光的量显 著增加时检测参考情况。所检测的光的量的此改变可指示移动电话已被从用户的口袋取出 或已被从桌子或床头柜拿起。传感器系统210可在较低功率操作的同时确定发生此参考并 产生向主处理器220指示参考情况的事件。在检测到此事件,传感器系统210可进一步激活 专用CV计算硬件来使得较高功率操作能够执行不同类型的CV操作,例如,脸部检测及脸部 辨识。

[0076]图7为说明用于使用传感器系统作为光学传感器的实例方法700的简化流程图。如 同本文中所提供的其它图,图7经提供作为非限制性实例。另外,方法700可广泛地应用于本 文中所描述的实施例,包含图4中所展示的感测动态的基于场景的情况的方法400。用于执 行图7中所说明的方方框的功能性的装置可包含传感器系统(例如,图2A的传感器系统210) 的一或多个硬件组件。在一些实施例中,装置可进一步包含主处理器,例如图2A的主处理器 220。尽管方法500在下文经描述为由图2A的传感器系统210执行,但实施例并不限于此传感 器系统。

[0077] 方法700可当传感器系统210起始较低功率操作时在方框710处开始。例如,在一个 方面中,传感器系统210起始ALS操作、PD操作、CD操作或MD操作中的一者。在此方面中,传感 器系统210通过禁用专用CV计算硬件来起始较低功率操作,且配置传感器阵列单元212从而 以降低分辨率操作。如上文所论述,在不同实例中,降低分辨率可包含单个像素模式。在一 些实施例中,传感器系统210可起始多个较低功率操作,例如ALS操作及PD操作两者、CD操作 及MD操作,或ALS操作、PD操作、CD操作及MD操作中的全部四者。在起始较低功率操作之后, 方法700继续进行到方框720。

[0078]在方框720处,在执行较低功率操作的同时,传感器系统21〇检测参考情况。在其中 传感器系统210经配置以执行ALS功能的一个实例中,传感器系统210产生至少一个较低功 率光学传感器读所述低功率光学传感器读数可用于检测参考情况。例如,较低功率光学 传感器读数可指示环境光的量的改变,且传感器系统210可在光的感测水平以超过参考阈 值的速率改变,或以超过参考阈值的速率改变颜色时基于所述较低功率光学传感器读数而 检测参考情况。

[0079]在另一实例中,传感器系统210经配置以执行ro功能。在此实例中,传感器系统210 进一步包括光发射器,例如,发光二极管(LED),且传感器阵列单元212经配置以检测反射光 的量。当所检测反射光的量超过阈值时,传感器系统210检测参考情况。例如,传感器系统 210可检测指示对象在传感器系统210附近的参考情况。在一个方面中,当所检测反射光的 量低于阈值时,传感器系统210可检测参考情况。例如,传感器系统210可检测对象不再在传 感器系统210附近的事件。

[0080]在一个实例中,传感器系统210经配置以执行⑶功能。改变检测可检测超过阈值的 场景的改变,其中此场景改变对应于参考情况,例如,如图7的方框720中所描述。参考图2B, 在一些实施方案中,硬件扫描窗口阵列238、CV计算硬件242、级联分类器244,及/或专用微 处理器216或其任何组合可经禁用或处于低功率模式中。如此处所使用,经禁用意欲指示此 些组件在其功能性未被使用或其功能性较之其正常操作大幅度降低时处于降低功率状态。 因此,在此状态中,与涉及CV特征计算及后续CV操作的正常操作相比,传感器系统可以较低 功率模式操作。关于传感器阵列单元212中的大像素块(例如,如在图6中说明,对应于子群 组610的块)的像素值可经求和以得到表示每一块中的所有像素值的单一值。此求和可使用 由二维积分硬件236提供的积分图像计算并存储(例如)在积分图像帧缓冲器(图2B中未展 示)中。可接着及时逐帧比较块求和。在给定块中,如果与上一帧相比当前帧的求和值的改 变比参考改变阈值大,那么可检测场景改变参考情况。在替代实施方案中,仅当参考最小数 目个块登记此改变,才将检测场景改变参考情况。例如,在具有经划分成81个块(像素经分 组成9 X 9阵列,其中9 X 9阵列中的每一块包含像素子阵列)的传感器元件阵列的系统中,可 如上文所描述检测每一块的改变,且在三个、四个或另一数目个块寄存改变时,才可触发场 景改变参考情况。在检测到场景改变时,传感器系统210可进一步激活硬件扫描窗口阵列 238、CV计算硬件242、级联分类器244及/或专用微处理器216的任一组合。应理解,上文所描 述的⑶操作可在无需使用积分图像或二维积分硬件的情况下实施,但可使用其它硬件来确 定总块值。

[0081] 在一个实例中,传感器系统210可经配置以执行MD功能。在此实例中,传感器系统 210配置传感器阵列单元212以具有大于2X2像素分辨率的降低分辨率,但比传感器阵列单 元212中的像素的最大分辨率小。在此实例中,传感器系统210经配置以检测不同有效像素 处的感测光的相对改变。在此实例中,传感器系统210分析在有效像素(例如,如图6中所展 示的子群组610)中的每一者处感测的光的量,确定在每一有效像素处感测的光的量相对于 至少另一有效像素之间的第一组差。传感器系统210接着检测有效像素中的每一者处的感 测光的第二量,且确定每一有效像素处感测的光的量相对于至少另一有效像素之间第二组 差。传感器系统210接着基于第一组差及第二组差而确定差的改变。如果差的改变超过参考 运动阈值,那么传感器系统210检测参考情况。在一个方面中,如果第一有效像素指示所感 测光相对于第二有效像素的正改变,且所述第一有效像素指示所感测光相对于第二有效像 素的负改变,那么传感器系统210可检测运动事件。

[0082]在方框720处检测参考情况可接着触发至少一个较高功率操作的指示。在方框730 中,传感器系统210通过启用专用CV计算硬件来起始较高功率操作。例如,传感器系统210可 起始脸部检测操作或脸部辨识操作,或手势辨识操作。替代地,传感器系统210可起始对象 检测操作以检测参考对象在由传感器系统210捕获的图像中的存在。

[0083]在其中触发较高功率操作的参考情况为PD操作的情况中,检测由传感器系统210 捕获的图像中的参考对象可指示参考对象的接近度。因此,在此实例方法中,较高功率操作 基于较低功率操作与较高功率操作之间的单向相依关系。单向相依关系在此实例中与仅在 较低功率操作检测参考情况之后发生的较高功率操作有关。

[0084] 此外,较高功率操作可基于评估所述至少一个较低功率光学传感器读数。例如,如 上文所论述,传感器系统210可执行较低功率ALS操作且起始较高功率操作。在一些实例中, 较高功率操作还可评估较低功率ALS操作的传感器读数。例如,较高功率操作可包含脸部检 测或辨识功能。在一个方面中,传感器系统210可在执行脸部辨识功能时评估ALS传感器读 数以确定环境光水平并调整曝光时间或光圈大小。或在一些方面中,功能可产生较高功 率操作可评估以确定所检测对象的估计范围的传感器读数。在一些方面中,传感器系统210 可起始其它或多个较高功率操作。在一些方面中,传感器系统210可重复地执行方法700。例 如,在执行较高功率操作之后,传感器系统210可重新开始方法700且在方框710处通过起始 较低功率操作来执行功能性。在检测场景改变时,例如,传感器系统210可进一步激活额外 组件(例如,硬件扫描窗口阵列238、CV计算硬件242、级联分类器244及/或微处理器216)的 任何组合以执行一或多个较高功率操作。一旦执行较高功率操作,传感器系统210可接着返 回到较低功率模式。

[0085]虽然图7的方法700己经描述为一系列较低功率及较高功率操作,但在一些实例 中,传感器系统210可基本上同时执行较低功率操作及较高功率操作两者。例如,在方框730 处,在执行较高功率操作之后,传感器系统210可起始较低功率操作但继续执行较高功率操 作。因此,在一些实例中,在方框710处,在传感器系统210正执行较低功率操作时,传感器系 统210可还执行额外功能,例如,较高功率操作,且通过起始较低功率操作,传感器系统210 可未专有地执行较低功率操作。此外,当传感器系统210在方框730处起始较高功率操作时, 传感器系统210在一些实例中可继续执行较低功率操作。

[0086]图8展示用于使用传感器系统作为光学传感器的实例方法800。此外,方法800将关 于图2A中所展示的实例传感器系统210进行论述,但并不限于此传感器系统。

[0087] 方法800在方框810处开始,其中传感器系统210如上文关于图7的方法700所论述 起始较低功率操作。在方框820处,在执行较低功率操作的同时,传感器系统210如上文关于 图7的方法700所论述检测参考情况。在检测到参考情况之后,方法800继续进行到方框830。 [0088]在方框830处,传感器系统210提供用于较高功率操作的参数值。在一个实例中,传 感器系统210提供环境光的水平作为较高功率操作的配置设置。在此实例中,传感器系统 210可提供所述参数值作为与光强度或自动曝光参数或与图像的积分时间相关联的配置设 置。在另一实例中,传感器系统210提供距对象的估计距离。在一个此实例中,如果传感器系 统210执行PD操作且检查对象,那么传感器系统21〇提供到对象的估计距离或所检测的反射 光的量。在另一实例中,传感器系统21〇提供较高功率操作的运动方向。在一个此实例中,传 感器系统210可经配置以执行块登记改变(参见上文对CD的论述)的较低功率MD操作及/或 移动且基于随时间感测到的光的相对量的改变而检测运动方向。可将运动方向提供到较高 功率操作,例如手势检测操作。

[0089] 在一些实施例中,传感器系统210可经配置以提供指示由传感器系统210观看的场 景可能为室内场景还是室外场景的参数。例如,如果环境光的水平超过预走义阈值,那么传 感器系统210可提供指示场景为室外场景的参数,而如果环境光低于第二预定义阈值,那么 传感器系统210可提供指示场景为室内场景的参数。在一些实例中,可基于以一或多个频率 检测的峰值强度作出室内/室外确定。

[0090] 在一些实施例中,传感器系统210可经配置以提供指示场景中所关注的区域的参 数。在一个实例中,传感器系统210已配置传感器阵列单元212从而以3X3有效像素的降低 的分辨率操作。在此实例中,传感器系统210可确定所关注的有效像素,此可基于所检测到 的环境光的改变、接近度检测参考情况、有效像素中的一或多者的改变检测,及/或所检测 的运动方向。在一个实例中,传感器系统210可经配置以提供与参考情况频率相关联的参 数。在此实例中,传感器系统210检测事件的多个情况且确定发生事件的频率。

[0091] 根据一些实施例,可使用参数来确定较高功率操作。在一个实例中,参数可指示CV 特征选择操作。例如,参数可基于光强度而指示是使用LBP功能、HSG功能还是CV功能。在传 感器系统210提供参数之后,方法继续进行到方框840。

[0092] 在方框S40处,传感器系统210如上文所论述使用参数(在方框830处提供)来起始 较高功率操作。

[0093]如上文关于图7的方法700所描述,虽然图8的方法800已经描述为一系列较低功率 及较高功率操作,但在一些实例中,传感器系统210可基本上同时地执行较低功率操作及较 高功率操作两者。例如,在方框840处,在执行较高功率操作之后,传感器系统210可起始较 低功率操作但继续执行较高功率操作。因此,在一些实例中,在方框810处,在传感器系统 210正执行较低功率操作时,传感器系统210可还执行额外功能,例如,较高功率操作,且通 过起始较低功率操作,传感器系统210可未专有地执行较低功率操作。此外,当传感器系统 210在方框840处起始较高功率操作时,传感器系统21〇在一些实例中可继续执行较低功率 操作。此处,传感器系统210可继续运用经启用的专用CV计算硬件操作,而非禁用专用CV计 算硬件以执行较低功率操作。然而,较低功率操作可简单地不利用专用CV计算硬件。

[0094]图9展示用于使用传感器系统作为光学传感器的实例方法。如同本文中所描述的 其它方法,方法900将关于图2A中所展示的实例传感器系统进行论述,但并不限于此传感器 系统。

[0095]方法900在方框910处开始,其中传感器系统210如上文所论述起始较高功率。在方 框92〇处,传感器系统210基于方框91〇处的较高功率操作而检测参考情况,例如,脸部检测 或脸部辨识。在检测到参考情况之后,方法9〇〇继续进行到方框930。

[0096]在块930处,传感器系统210提供关于较低功率操作的参数。在一个实施例中,较高 功率操作可检测在传感器系统210附近的对象,且在一些实例中,系统可还确定距对象的估 计距离。传感器系统210可将指示对象的存在的包括参数的事件提供到较低功率操作,或还 可(或替代地)提供指示距对象的距离的参数。此参数可由较低功率操作用于辅助或增强PD 功能。例如,PD功能可能够基于参数更准确地检测在传感器附近的对象,例如,通过确立或 调整临限强度水平。

[0097]在一些实施例中,传感器系统210可提供指示到光源的方向的参数。例如,较高功 率操作可检测所说明对象或反射对象,及对象的位置或方向。传感器系统210可基于指示光 源的方向的较高功率操作而提供参数。较低功率操作可使用此参数,例如,在执行ALS时。在 一个实例中,较高功率操作可确定由传感器系统210观看的场景为室内或室外场景。传感器 系统210可将参数提供到较低功率操作。例如,参数可辅助或增强较低功率操作,例如通过 辅助ALS功能,通过提供与用于检测环境照明的改变的阈值相关联的信息。

[0098]在一些实施例中,实例传感器系统210提供指示在由传感器系统210观看的场景中 可见的房间的占用的指示符或人数的参数。例如,较高功率操作可在由传感器系统210观看 的场景中检测一或多个脸部,或一或多个人。传感器系统210可接着提供指示场景中的人或 脸部的数目或区域的占用程度的指示符的参数。在一个实例中,较低功率操作(例如,MD功 能)可使用此信息来更佳地检测运动,或降低MD功能对运动的敏感性。例如,如果传感器系 统210提供指示高占用程度的参数,那么MD功能可切换到需要较强运动指示的预定阈值且 因此MD功能对运动较不敏感。替代地,如果传感器系统210提供指示低占用程度的参数,那 么MD功能可增加其在检测运动事件时的敏感度。在另一实例中,较高功率操作可设置用于 上文所描述的CD操作的块的阈值及/或最小数目。

[0099]在方框940处,传感器系统210使用参数来起始较低功率操作。例如,传感器系统 210可指示如上文关于图7及8所描述的较低功率操作。在此实例中,较低功率操作在起始之 后经配置以使用参数。例如,如上文所论述,PD功能可能够基于参数更准确地检测在传感器 附近的对象,例如,通过确立或调整临限强度水平。在一个实例中,参数可辅助或增强较低 功率操作,例如通过辅助ALS功能,通过提供与用于检测环境照明的改变的阈值相关联的信 息。

[0100] 一些实施例可重复地执行方法900。例如,在执行较高功率操作之后,传感器系统 210可重新开始方法900且在方框910处起始较低功率操作。

[0101]如上文关于图7及8的方法700、800所描述,虽然图9的方法900已经描述为一系列 较高功率及较低功率操作,但在一些实例中,传感器系统210可基本上同时地执行较低功率 操作及较高功率操作两者。例如,在方框940处,在执行较低功率操作之后,传感器系统210 可起始较高功率操作但继续执行较低功率操作。因此,在一些实例中,在方框910处,在传感 器系统210正执行较高功率操作时,传感器系统210可还执行额外操作,例如,较低功率操 作,且通过起始较高功率操作,传感器系统210可未专有地执行较高功率操作。此外,当传感 器系统210在方框940处起始较低功率操作时,传感器系统210在一些实例中可继续执行较 高功率操作。

[0102] 在一些实施例中,可组合一或多个方法。例如,图7或8的方法可与图9的方法组合。 例如,在完成图7的方法700的方框730之后,方法可继续进行到图9的方法900的方框920。在 一个实例中,在完成图8的方法800的方框840之后,方法可继续进行到图9的方法900的方框 920。还预取其它组合。

[0103]图1〇A展示关于可由传感器系统210执行的计算机视觉计算及较低功率光学传感 器读数的实例状态图。图10A包含两个状态,较低功率操作状态1〇1〇及较高功率操作状态 1020。在较低功率操作状态101〇中,传感器系统21〇经配置以执行一或多个较低功率操作且 可获得一或多个传感器读数。在较高功率操作状态1020中,传感器系统210经配置以执行一 或多个较高功率操作(例如,计算机视觉计算及操作),且可获得一或多个传感器读数。在一 些实施例中,传感器系统210经配置以处于较低功率操作状态1〇 1〇或较低功率操作状态 1020中,但不能同时地处于两者中。在一个此实例中,传感器系统21〇经配置以基于传感器 读数从一个状态过渡到另一状态,此可在状态之间建立单向相依关系。例如,在一个实例 中,较高功率操作的执行取决于来自较低功率操作的传感器读数,或较低功率操作的执行 取决于来自较高功率操作的传感器读数。

[0104]然而,在一些实例中,传感器系统210可经配置以基本上同时地在两个状态1010、 1020中操作。例如,在一个实例中,传感器系统210可包括多个传感器阵列单元212,其中的 一者可经配置以执行较低功率操作且其中的另一者可经配置以执行较高功率操作。在一些 实例中,传感器系统210可细分传感器阵列单元212使得传感器阵列单元212的一部分经配 置以执行一或多个较低功率操作,而传感器阵列单元212的另一部分经配置以执行一或多 个较高功率操作。在传感器系统210经配置以基本上同时地在两个状态1〇1〇、1〇2〇中操作的 一个实例中,可基于来自状态中的一者的传感器读数而建立单向相依关系,所述传感器读 数致使起始另一状态中的特定操作或致使重新配置另一状态中的操作。在一些实施例中, 一个状态中的操作可提供由另一状态中的操作使用的一或多个参数,例如,在图10B中可 见。

[0105]图10B展示关于可由传感器系统210执行的计算机视觉计算及较低功率光学传感 器读数的实例状态图。图10B包含上文关于图10A所描述的状态,但还包含响应于状态1010、 1020中的一者或两者中的事件检测而在状态1010、1020之间的状态过渡或信息传递。如同 图10A中的状态图,传感器系统210可依序在两个状态1010、1020之间过渡,或可同时在两个 状态1010、1020中操作。传感器系统210可经配置以检测状态中的每一者中的事件。在本发 明中较早地描述参考情况的实例。如在图10B中所展示,传感器系统210基于从一个状态中 的功能到另一状态中的一或多个功能的检测事件而提供一或多个参数值。

[0106] 例如,如果传感器系统210在较低功率操作状态1010中执行PD操作且检测到对象 在传感器系统210附件,那么传感器系统210将参数值(例如指示检测到对象的旗标值或对 象的估计范围)提供到较高功率操作状态1020中的计算机视觉功能(例如,脸部检测功能)。 在一些情况中,传感器系统210还可从较低功率操作状态1010过渡到较高功率操作状态 1020;然而,传感器系统210可使用一或多个参数值激活或继续执行较高功率操作状态1020 中的操作。传感器系统210还可检测较高功率操作状态1020中的事件且将一或多个参数值 提供到较低功率操作且传感器系统可过渡到较低功率操作状态或使用一或多个参数值来 激活或继续执行较低功率操作状态1020中的操作。

[0107] 图11A、11B及11C说明根据一些实施例的将传感器读数从多个传感器元件转换到 CV特征的过程。

[0108] 图11A说明来自经考虑用于产生直方图及检测特征的传感器阵列单元(例如,图2A 或2B的传感器阵列单元212)的多个传感器元件的传感器读数群组(窗口 1102)。

[0109]图11B说明产生关于用于产生LBP标签的中心传感器元件1104的二进制阈值的过 程。图2B的CV计算硬件242可包含用于计算LBP标签的硬件。经产生用于中心传感器元件的 标签可由二进制值1111000表示。类似地,针对窗口 1102的九个感觉元件中的每一者产生 LBP标签。每一标签可从诸图传感器元件的角度提供CV特征的指示。可针对对应于传感器阵 列中的多个主体传感器元件的信号重复用以产生标签的阈值化。图11B中所说明的像素集 LBP可经扩展以包含多块LBP,其中通过将对应于含有一或多个主体传感器元件的块的值 (例如,与块中的一或多个主体传感器元件相关联的值的和)与其相邻传感器元件块进行比 较来针对所述含有一或多个主体传感器元件的块产生所说明的二进制阈值。可通过计算积 分图像来促进对应于传感器元件块中的每一者的值的计算。类似地,应理解,还可类似地计 算LBP的扩展,例如局部三进制模式(LTP),此取决于主体传感器元件与相邻传感器元件之 间的差以而提供三个输出。例如,在LTP的一个实施方案中,输出在对应于相邻传感器元件 的信号比对应于主体传感器元件的信号加阈值大的情况下为一,输出在对应于相邻传感器 元件的信号与对应于主体传感器元件的信号相比在阈值范围内的情况下为零,且输出在对 应于相邻传感器元件的信号比对应于主体传感器元件的信号减去阈值小的情况下为负一。 [0110]图11C说明窗口(例如,表示来自传感器元件阵列的某一子组传感器元件的窗口) 的归一化直方图,由关于来自窗口(例如,存储在图2B的硬件扫描窗口阵列238中的样本窗 口)的传感器元件中的每一者的多个标签产生。在图11C中所展示,来自窗口 1102的传感器 读数的LBP标签中的每一者可以(例如)256个时隙落在直方图上任何处。因此,例如,当将主 体传感器元件与其八个邻居相比时,将产生8位数字,意指256个不同LBP标签可行。直方图 可表示在窗口中实际上产生给定LBP标签中的每一者的次数。为确定脸部是否存在与窗口 中,在一个实施方案中,可将所产生直方图与脸部的参考直方图进行比较。可计算所产生直 方图与参考直方图之间的交集,且从交集的和产生标量和。如果标量和比阈值大,那么根据 给定概率,在窗口内检测到脸部。参考直方图及阈值通常是在训练阶段在(在此实例中)样 本脸部及样本非脸部及其LBP直方图的数据集上使用机器学习算法所确定的。一旦在训练 阶段针对相同架构确定参考直方图及阈值,即可将其编程在(例如)图2A或2B的微处理器 216中,或替代地,上述直方图过程可由专用硬件执行以针对图像内的给定窗口计算直方图 且确定窗口内是否存在脸部或其它对象,类似于上文在图2B中所论述的级联是分类器硬件 244。应理解,替代将LBP标签用于直方图产生,或除将LBP标签用于直方图产生外,LBP标签 也可由级联分类其用于对象检测,如图2B中所论述。

[0111]图12说明可如上文所描述利用传感器系统210的移动装置105的实施例。应注意, 图12仅意欲提供对各种组件的广义说明,其中的任何者或全部可视情况使用。可注意,在一 些情况中,由图12所说明的组件可经定位到单个物理装置及/或分布于各种网络装置间,所 述各种网络装置可经安置在不同物理位置处。

[0112] 移动装置105经展示包括可经由总线1205电耦合(或可视情况以其它方式通信)的 硬件元件。硬件元件可包含处理单元1210,所述处理单元可包含(非限制)一或多个通用处 理器、一或多个专用处理器(例如数字信号处理(DSP)芯片、图形加速处理器、专用集成电路 (ASIC)及/或其类似者),及/或其它处理结构或构件。在上文所描述的实施例中,处理单元 1210可对应于图2A的主处理器220及/或关于图4所描述的第二处理单元。如图12中所展示, 一些实施例可取决于所要功能性而具有单独DSP 1220。移动装置105还可包含一或多个输 入装置127〇(其可包含(非限制)触摸屏、触摸垫、麦克风、按钮、转盘、开关及/或其类似者); 及一或多个输出装置1215 (其可包含(非限制)显示器、发光二极管(LED)、扬声器及/或其类 似者)。

[0113] 移动装置105还可包含无线通信接口 1230,其可包含(非限制)调制解调器、网卡、 红外线通信装置、无线通信装置,及/或芯片集(诸如蓝牙装置、IEEE 802 .11装置、 IEEE8〇2.15.4装置、WiFi装置、WiMax装置、蜂窝式通信设施,等),及/或其类似者。无线通信 接口 123〇可准许与网络、无线接入点、其它计算机系统及/或本文中所描述的任何其它电子 装置交换数据。可经由发送及/或接收无线信号1234的一或多个无线通信天线1232实施通 信。

[0114] 取决于所要功能性,无线通信接口 1230可包含单独收发器以与基站收发器台(蜂 窝式网络的基站)及/或接入点进行通信。这些不同数据网络可包含各种网络类型。另外,无 线广域网络(WWAN)可为码分多址接入(“CDMA”)网络、时分多址接入(“TDMA”)网络、频分多 址接入(“FDMA”)网路、正交频分多址接入(“0FDMA”)系统、单波频分多址接入(“SC-FDMA”) 网络,WiMax (IEEE 802.16),等等。CDM网络可实施一或多个无线电接入技术(“RAT”),例如 cdma2000、宽带-CDMA(“W-CDMA”),等等。Cdma2000包含IS-95、IS-2000及/或IS-856标准。 TDMA网络可实施全球移动通信系统(“GSM”)、数字高级移动电话系统(“D-AMPS”),或一些其 它RAT。0FDMA网络可使用LTE、高级LTE,等等。LTE、高级LTE、GSM及W-CDMA经描述于来自3GPP 的文档中。Cdma2000被描述于来自名称为“第3代合作伙伴计划2”(3GPP2)的社团的文件中。 3GPP及XPP2文档可公开获得。无线局域网(WLAN)也可为IEEE 802. llx网络,且无线个人区 域网络(WPAN)可为蓝牙网络、IEEE 802.15x,或某一其它类型的网络。本文中所描述的技术 还可用于WWAN、WLAN及/或WPAN的任一组合。

[0115] 移动装置105可进一步包含传感器1240。此些传感器可包含(非限制)一或多个加 速度计、陀螺仪、相机、磁力计、高度计、麦克风、邻近传感器、光传感器及其类似者。另外或 替代地,传感器1240可包含图2A或2B的传感器系统210及/或类似电子传感器。因此,本文中 所描述的实施例可在传感器1240的传感器系统210中包含第一处理器(例如,图2A或2B中的 微处理器216),所述第一处理器产生关于图12的处理单元1210 (对应于图2A的主处理器 220)中所包含的第二处理单元的事件。在一些实施例中,传感器1240的第一处理单元(例 如,图2A或2B中的传感器系统210的微处理器216)可依据从图像阵列(例如,图2A或2B的传 感器阵列单元212)的一或多个输出接收的一或多个信号确定已检测到脸部,且响应于所述 确定,产生用于第二处理单元(例如,图12的处理单元1210)的脸部检测事件。在一些实施例 中,处理单元1210可以低功率模式操作,且在处理单元1210以低功率模式操作的同时,传感 器1240的第一处理单元(例如,图2A或2B中的传感器系统210的微处理器216)可操作以产生 待由处理单元1210接收的事件及/或将事件传达到处理单元1210。

[0116]移动装置的实施例还可包含卫星定位系统(SPS)接收器1280,所述卫星定位系统 (SPS)接收器能够使用SPS天线1狀2从一或多个SPS卫星接收信号128LSPS接收器1280可使 用常规技术从SPS系统的卫星(例如,全球导航卫星系统(GNSS)(例如,全球定位系统 (GPS))、伽利略、格洛纳斯、罗盘、日本的准天顶卫星系统(QZSS)、印度的印度区域导航卫星 系统(IRNSS)、中国的北斗卫星导航系统,及或其类似者)提取移动装置的位置。此外,SPS接 收器1280可用于各种增强系统(例如,星基增强系统(SBAS),所述增强系统可与一或多个全 球及/或区域导航卫星系统相关联或以其它方式启用供与一或多个全球及/或区域导航卫 星系统使用。通过实例但非限制,SBAS可包含增强系统,其提供完整性信息、差分校正等,例 如,广域增强系统(WAAS)、欧洲地球静止导航重叠服务(EGN0S)、多功能卫星增强系统 (MSAS)、GPS辅助型静地增强导航或GPS及静地增强导航系统(GAGAN),及/或其类似者。因 此,如本文中所使用,SPS可包含一或多个全球及/或区域导航卫星系统及/或增强系统的任 何组合,且SPS信号可包含SPS、类SPS及/或与此一或多个SPS相关联的其它信号。

[0117]移动装置105可进一步包含存储器1260及/或与其通信。存储器1260可包含(非限 制)本地及/或网络可存取存储器、磁盘驱动、驱动阵列、光学存储装置、固态存储装置,例如 可编程、可快闪更新及/或其类似者的随机存取存储器(“RAM”)及/或只读存储器(“ROM”)。 此些存储装置可经配置以实施任何适当数据存储,包含(非限制)各种文件系统、数据库结 构及/或其类似者。图2A的存储器218 (其可包含先前所列举的存储器类型中的任一者)可被 包含在存储器1260中或可不同于存储器1260,此取决于所要功能性。

[0118] 移动装置105的存储器1260还可包括软件元件(未展示),包含操作系统、装置驱 动、可执行库,及/或嵌入于计算机可读媒体中的其它代码,例如一或多个应用程序,其可包 括由各种实施例提供的计算机程序,及/或可经设计以实施方法及/或配置系统,由其它实 施例提供,如本文中所描述。在一方面中,接着此代码及/或指令可用于配置及/或调适通用 计算机(或其它装置)以执行根据所描述方法的一或多个操作。

[0119]熟习此项技术者将了解,可根据特定要求作出大量变化。举例而言,还可使用自订 硬件,及/或特定元件可以硬件、软件(包含便携式软件,诸如小程式,等)或两者实施。此外, 可使用到例如网络输入/输出装置的其它计算装置的连接。

[0120] 参考附图,可包含存储器的组件可包含非暂时性机器可读媒体。如本文中所使用 的术语“机器可读媒体”及“计算机可读媒体”指参与提供致使机器以特定方式操作的机器 的数据的任何存储媒体。在上文中所提供的实施例中,各种机器可读媒体可经涉及于将指 令/代码提供到处理单元及/或其它装置以进行执行。另外或替代地,机器可读媒体可用于 存储及/或载运此些指令/代码。在许多实施方案中,计算机可读媒体为物理及/或有形存储 媒体。此媒体可呈许多形式,包含但不限于非易失性媒体、易失性媒体及传输媒体。计算机 可读媒体的共同形式包含(例如)磁性及/或光学媒体、打孔卡、纸带、具有孔洞模式的任何 其它物理体媒体、RAM、PROM、EPROM、FLASH-EPR0M、任何其它存储器芯片或卡匣、如下文中所 描述的载波,或计算机可自其读取指令及/或代码的任何其它媒体。

[0121] 本文中所论述的方法、系统及装置为实例。各种实施例可在适当时省略、取代或添 加各种程序或组件。举例来说,可将关于某些实施例所描述的特征组合于其它实施例中。实 施例的不同方面及元件可以类似方式组合。本文中所提供的图的各种组件可以硬件及/或 软件体现。此外,技术演进,且因此元件中的许多者为并不将本发明的范围限制于那些特定 实例的实例。

[0122]将此些信号称作位、信息、值、元素、符号、字符、变数、项、数字、编号或其类似者有 时已证明是便利的(主要出于共用的原因)。然而,应理解,所有这些或相似术语应与适当物 理量相关联且仅为便利标签。除非另有具体规定,如从上文中的论述显而易见,应了解贯穿 本说明书,利用例如“处理”、“运算”、“计算”、“确定”、“确认”、“识别”、“相关联”、“测量”、 “执行”或其类似者的术语的描述指特定设备(例如,专用计算机或类似专用电子计算装置) 的动作或过程。因此,在本说明书的上下文中,专用计算机或类似专用电子计算装置能够操 纵或变换信号,通常在专用计算机或类似专用电子计算装置的存储器、寄存器或其它信息 存储装置、传输装置或显示装置内表示为物理电子、电或磁量。

[0123]如本文中所使用,术语“及”与“或”可包含各种意义,其还预期至少部分地取决于 其所使用的上下文。通常,“或”如果用于关联列表(例如,A、B或C)意欲意指A、B及C(此处以 包含意义下使用),以及A、B或C (此处以不包含意义使用)。另外,如本文中所使用的术语“一 或多个”可用于以单数形式描述任何特征、结构或特性或可用于描述特征、结构或特性的某 一组合。然而,应注意,此仅为说明性实例且所主张标的物并不限于此实例。此外,术语“中 的至少一者”在用于关联例如A、B或C的列表的条件下可经解释为意指A、B及/或C的任何组 合,例如 A、AB、AA、AAB、AABBCCC,等。

[0124]已描述数个实施例,可在不背离本发明的精神的情况下使用各种修改、替代构造 及等效物。举例来说,上述元件可仅为较大系统的组件,其中其它规则可优于各种实施例的 应用或以其它方式修改所述应用。此外,可在考虑上述元件之前、期间或之后进行多个步 骤。因此,上述描述并不限制本发明的范围。

Claims (30)

1.一种用于感测动态的基于场景的情况的智能传感器,所述智能传感器包括: 专用计算机视觉CV计算硬件,其经配置以接收来自传感器阵列的传感器数据,所述传 感器阵列包括多于一个传感器像素且能够使用来自所述传感器阵列的相邻传感器像素的 读数计算一或多个CV特征;以及 第一处理单元,其与所述专用CV计算硬件以通信方式耦合且经配置以处理由基于所述 一或多个所计算CV特征的操作所产生的信号; 其中所述智能传感器经配置以响应于由所述第一处理单元对由基于所述一或多个所 计算CV特征的所述操作所产生的所述信号的所述处理而产生事件以由第二处理单元接收, 所述事件指示用于所述第二处理单元的参考情况。
2. 根据权利要求1所述的智能传感器,其中所述参考情况为以下各项中的一或多者: 人脸进入视野, 人体进入视野, 人脸上表达的情绪, 非人类动物脸部进入视野, 非人类动物身体进入视野, 人手进入视野, 手势, 参考对象进入视野, 从室内环境到室外环境的改变, 参考移动, 场景中指示下落的快速移动, 指示碰撞风险的朝向对象的运动, 场景中指示危险的移动或对象,或 其任何组合。
3. 根据权利要求1所述的智能传感器,其中所述事件包括脸部检测。
4. 根据权利要求1所述的智能传感器,其中所述专用CV计算硬件经配置以提供局部二 进制模式LBP。
5. 根据权利要求4所述的智能传感器,其进一步包括级联分类器硬件,所述级联分类器 硬件经配置以检测参考对象在耦合到所述专用CV计算硬件的所述传感器数据的子集中的 存在,其中基于所述一或多个所计算CV特征的所述操作包括由所述级联分类器硬件执行的 操作,所述参考情况与所述参考对象相关联。
6. 根据权利要求5所述的智能传感器,其中所述第一处理单元经配置以在所述级联分 类器硬件检测到所述参考对象的所述存在时接收来自所述级联分类器硬件的所述参考对 象的所述存在的指示。
7. 根据权利要求1所述的智能传感器,所述专用CV计算硬件经配置以接收来自所述传 感器阵列的原始传感器数据,且所述传感器阵列与所述专用CV计算硬件之间未安置任何图 像信号处理电路。
8. 根据权利要求1所述的智能传感器,其中所述专用CV计算硬件包括集成电路。
9. 根据权利要求1所述的智能传感器,其中所述智能传感器经配置以禁用所述专用CV 计算硬件的至少部分以产生指示环境光感测、接近度检测、与参考对象的接近度、运动检 测,或其任何组合的至少一个较低功率光学传感器读数。
10. 根据权利要求9所述的智能传感器,其中所述智能传感器基于所述至少一个较低功 率光学传感器读数而产生所述参考情况。
11. 根据权利要求1所述的智能传感器,其中所述智能传感器经配置以在以较低功率模 式操作时禁用所述专用CV计算硬件的至少部分,检测所述较低功率模式中的场景改变,及 基于检测到所述场景改变而激活所述专用CV计算硬件。
12. 根据权利要求1所述的智能传感器,其中所述事件指示所述第二处理单元的所述参 考情况且进一步包含与所述参考情况相关联的数据。
13. 根据权利要求1所述的智能传感器,其中所述智能传感器经配置以: 执行较高功率操作作为基于所述一或多个所计算CV特征的所述操作的至少部分,所述 较高功率操作消耗比较低功率操作多的功率,以及 基于所述事件提供用于所述较低功率操作的参数。
14. 根据权利要求1所述的智能传感器,其中所述智能传感器经配置以: 执行较低功率操作作为基于所述一或多个所计算CV特征的所述操作的至少部分,所述 较低功率操作消耗比较高功率操作少的功率,以及 提供用于所述较高功率操作的传感器读数。
15. —种用于确定脸部检测事件的设备,所述设备包括: 传感器阵列,其包括多于一个传感器像素; 专用计算机视觉CV计算硬件,其能够接收来自所述传感器阵列的传感器数据且使用来 自所述传感器阵列的相邻传感器像素的读数计算CV特征;以及 第一处理单元,其与所述专用CV计算硬件以通信方式耦合且经配置以: 依据由基于所述一或多个所计算CV特征的操作所产生的一或多个信号,确定已检测到 脸部,以及 响应于所述确定,产生脸部检测事件以由第二处理单元接收。
16. 根据权利要求15所述的设备,其进一步包括所述第二处理单元,其中所述第一处理 单元经配置以在所述第二处理单元以低功率模式操作时将所述脸部检测事件传达到所述 第二处理单元。
17. 根据权利要求15所述的智能传感器,所述专用CV计算硬件经配置以接收来自所述 传感器阵列的原始传感器数据,且所述传感器阵列与所述专用CV计算硬件之间未安置任何 图像信号处理电路。
18. 根据权利要求15所述的设备,其进一步包括外围电路,所述外围电路经配置以提供 以下各项中的至少一者: 定时操作, 聚焦操作, 自动曝光校正操作, 对象检测, 对象辨识, 存储扫描窗口, 事件排队及/或处理操作, 模拟处理, 模/数转换, 积分操作, CV特征计算, 基于级联分类器的分类, 基于直方图的分类,或 存储器缓冲,或 其任何组合。
19. 一种用于运用设备感测动态的基于场景的情况的方法,所述方法包括: 运用专用计算机视觉CV计算硬件,接收来自包括多个一个传感器像素的传感器阵列的 传感器数据; 运用所述专用CV计算硬件,使用来自所述传感器阵列的相邻传感器像素的读数计算一 或多个CV特征; 运用第一处理单元,处理由基于所述一或多个所计算CV特征的操作所产生的信号;以 及 响应于由所述第一处理单元对由基于所述一或多个所计算CV特征的所述操作所产生 的所述信号的所述处理而产生事件以由第二处理单元接收,所述事件指示用于所述第二处 理单元的参考情况。
20. 根据权利要求19所述的方法,其中所述参考情况为以下各项中的一或多者: 人脸进入视野, 人体进入视野, 人脸上表达的情绪, 非人类动物脸部进入视野, 非人类动物身体进入视野, 人手进入视野, 手势, 参考对象进入视野, 从室内环境到室外环境的改变, 参考移动, 场景中指示下落的快速移动, 指示碰撞风险的朝向对象的运动, 指示危险的场景中的移动或对象,或 其任何组合。
21. 根据权利要求19所述的方法,其进一步包括:运用所述专用CV计算硬件提供局部二 进制模式LBP。
22. 根据权利要求21所述的方法,其进一步包括:运用级联分类器硬件检测所述传感器 数据的子集中参考对象的存在,其中基于所述一或多个所计算CV特征的所述操作包括由所 述级联分类器硬件执行的操作,所述参考情况与所述参考对象相关联。
23.根据权利要求22所述的方法,其进一步包括:在所述级联分类器硬件检测到所述参 考对象的所述存在时,通过所述第一处理单元,从所述级联分类器硬件接收所述参考对象 的所述存在的指示。
24.根据权利要求IQ所述的方法,其进一步包括:禁用所述专用CV计算硬件的至少部分 以产生指示环境光感测、接近度检测、与参考对象的接近度、运动检测,或其任何组合的至 少一个较低功率光学传感器读数。
25.根据权利要求24所述的方法,其进一步包括:基于所述至少一个较低功率光学传感 器读数而检测所述参考情况。
26. 根据权利要求19所述的方法,其进一步包括: 在以较低功率模式操作时禁用所述专用CV计算硬件的至少部分; 在以所述较低功率模式操作时检测场景改变;以及 基于检测到所述场景改变而激活所述专用CV计算硬件的所述经禁用的至少部分。
27. 根据权利要求I9所述的方法,其中运用所述专用CV计算硬件接收来自所述传感器 阵列的所述传感器数据包括:接收来自所述传感器阵列的原始传感器数据,且其中在所述 接收之前不对所述传感器数据执行任何图像信号处理。
28. —种用于确定脸部检测事件的方法,所述方法包括: 运用专用计算机视觉CV计算硬件,接收来自传感器阵列的传感器数据; 使用来自所述传感器阵列的相邻传感器像素的读数计算一或多个CV特征;以及 使用第一处理单元来: 依据由基于所述一或多个所计算CV特征的操作所产生的一或多个信号,确定已检测到 脸部,以及 响应于所述确定,产生脸部检测事件以由第二处理单元接收。
29.根据权利要求15所述的设备,其进一步包括所述第二处理单元,其中所述第一处理 单元经进一步配置以在所述第二处理单元以低功率模式操作时将所述脸部检测事件传达 到所述第二处理单元。
30.根据权利要求28所述的方法,其中运用所述专用CV计算硬件接收来自所述传感器 阵列的所述传感器数据包括:接收来自所述传感器阵列的原始传感器数据,且其中在所述 接收之前不对所述传感器数据执行任何图像信号处理。
CN201580052384.4A 2014-09-30 2015-09-28 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 CN107077601A (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
US201462057800P true 2014-09-30 2014-09-30
US201462058009P true 2014-09-30 2014-09-30
US201462057972P true 2014-09-30 2014-09-30
US62/057,972 2014-09-30
US62/058,009 2014-09-30
US62/057,800 2014-09-30
US14/866,549 US9554100B2 (en) 2014-09-30 2015-09-25 Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US14/866,549 2015-09-25
PCT/US2015/052684 WO2016053886A1 (en) 2014-09-30 2015-09-28 Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor

Publications (1)

Publication Number Publication Date
CN107077601A true CN107077601A (zh) 2017-08-18

Family

ID=55585883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052384.4A CN107077601A (zh) 2014-09-30 2015-09-28 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析

Country Status (8)

Country Link
US (3) US9554100B2 (zh)
EP (1) EP3201831A1 (zh)
JP (1) JP6737777B2 (zh)
KR (1) KR20170063643A (zh)
CN (1) CN107077601A (zh)
BR (1) BR112017006399A2 (zh)
CA (1) CA2959549A1 (zh)
WO (1) WO2016053886A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682329B (zh) * 2018-12-14 2020-01-11 技嘉科技股份有限公司 臉部辨識方法、裝置及計算機可讀取媒體

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168565A (zh) * 2017-01-23 2019-08-23 高通股份有限公司 低功率虹膜扫描初始化
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
EP3571626A1 (en) * 2017-01-23 2019-11-27 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
US9977994B2 (en) 2016-06-30 2018-05-22 Apple Inc. Configurable histogram-of-oriented gradients (HOG) processor
US10375317B2 (en) 2016-07-07 2019-08-06 Qualcomm Incorporated Low complexity auto-exposure control for computer vision and imaging systems
KR20180014992A (ko) * 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
CN109416726A (zh) * 2016-09-29 2019-03-01 惠普发展公司,有限责任合伙企业 基于位置调整计算设备的设置
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
CN107358175A (zh) * 2017-06-26 2017-11-17 广东欧珀移动通信有限公司 虹膜采集方法及电子装置
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
KR20190017280A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20190064929A1 (en) 2017-08-25 2019-02-28 Qualcomm Incorporated System and method for gesture recognition
US10484530B2 (en) * 2017-11-07 2019-11-19 Google Llc Sensor based component activation
CN107908289A (zh) * 2017-12-01 2018-04-13 宁波高新区锦众信息科技有限公司 一种基于头部的机器人的人脸识别交互系统
US10691926B2 (en) 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109477A (ja) * 2006-10-26 2008-05-08 Fuji Electric Holdings Co Ltd 画像生成装置および画像生成方法
CN102065248A (zh) * 2006-11-17 2011-05-18 硅通讯技术有限公司 自动调节参考电压的低功耗图像传感器以及包含此传感器的光学点击装置
CN103135889A (zh) * 2011-12-05 2013-06-05 Lg电子株式会社 移动终端及其3d图像控制方法
US20130229508A1 (en) * 2012-03-01 2013-09-05 Qualcomm Incorporated Gesture Detection Based on Information from Multiple Types of Sensors
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641349A (en) 1985-02-20 1987-02-03 Leonard Flom Iris recognition system
US5324958A (en) 1991-02-19 1994-06-28 Synaptics, Incorporated Integrating imaging systgem having wide dynamic range with sample/hold circuits
US5543590A (en) 1992-06-08 1996-08-06 Synaptics, Incorporated Object position detector with edge motion feature
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
JPH0799646A (ja) 1993-05-31 1995-04-11 Sony Corp ディジタル画像信号の階層符号化および復号装置
JP3212874B2 (ja) 1996-04-19 2001-09-25 日本電気株式会社 ボロメータ型赤外線撮像装置
AU733511B2 (en) 1996-11-08 2001-05-17 National Computer Systems, Inc. Optical scanning with calibrated pixel output
US20020012459A1 (en) 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode
US7154548B2 (en) 2001-01-29 2006-12-26 Valley Oak Semiconductor Multiplexed and pipelined column buffer for use with an array of photo sensors
US7151844B2 (en) 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
WO2004071069A2 (en) 2003-02-03 2004-08-19 Goodrich Corporation Random access imaging sensor
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US7377643B1 (en) 2004-08-13 2008-05-27 Q Step Technologies, Inc. Method and apparatus for eye imaging with position registration and constant pupil size
US7038185B1 (en) 2004-12-01 2006-05-02 Mitsubishi Electric Research Laboratories, Inc. Camera for directly generating a gradient image
US7744216B1 (en) 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
DE102006023611A1 (de) 2006-05-19 2007-11-22 Siemens Ag Verfahren und Vorrichtung zur pixelsynchronen Bildauswertung eines kamerabasierten Systems
JP2008131407A (ja) 2006-11-22 2008-06-05 Matsushita Electric Ind Co Ltd 固体撮像素子およびそれを用いた撮像装置
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20090020612A1 (en) 2007-06-28 2009-01-22 Symbol Technologies, Inc. Imaging dual window scanner with presentation scanning
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US20100226495A1 (en) 2007-10-29 2010-09-09 Michael Kelly Digital readout method and apparatus
JP4948379B2 (ja) 2007-12-18 2012-06-06 キヤノン株式会社 パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体
US8462996B2 (en) 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
DE102008052930B4 (de) 2008-10-23 2011-04-07 Leuze Electronic Gmbh & Co Kg Bildverarbeitender Sensor
FR2939919A1 (fr) 2008-12-16 2010-06-18 New Imaging Technologies Sas Capteur matriciel
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
GB2471647B (en) * 2009-06-16 2016-03-23 Aptina Imaging Corp Use of Z-order data in an image sensor
JP5721994B2 (ja) 2009-11-27 2015-05-20 株式会社ジャパンディスプレイ 放射線撮像装置
US8947448B2 (en) 2009-12-24 2015-02-03 Sony Corporation Image processing device, image data generation device, image processing method, image data generation method, and data structure of image file
CN102725765B (zh) 2010-01-22 2015-06-10 虹膜技术公司 使用虹膜尺寸不同的多个虹膜影像的虹膜识别装置和方法
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
WO2012093381A1 (en) 2011-01-03 2012-07-12 Vitaly Sheraizin Camera assembly with an integrated content analyzer
US8805018B2 (en) 2011-04-11 2014-08-12 Intel Corporation Method of detecting facial attributes
JP2013003787A (ja) 2011-06-15 2013-01-07 Panasonic Corp 対象物検出装置
US9444547B2 (en) 2011-07-26 2016-09-13 Abl Ip Holding Llc Self-identifying one-way authentication method using optical signals
JP5789751B2 (ja) 2011-08-11 2015-10-07 パナソニックIpマネジメント株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
KR101824413B1 (ko) 2011-08-30 2018-02-02 삼성전자주식회사 휴대단말기의 동작 모드 제어 방법 및 장치
US9299036B2 (en) 2011-08-31 2016-03-29 Striiv, Inc. Life pattern detection
EP2757769B1 (en) 2011-09-13 2017-08-16 NEC Corporation Imaging device, imaging method and recording medium
US8748828B2 (en) 2011-09-21 2014-06-10 Kla-Tencor Corporation Interposer based imaging sensor for high-speed image acquisition and inspection systems
US9824296B2 (en) 2011-11-10 2017-11-21 Canon Kabushiki Kaisha Event detection apparatus and event detection method
WO2013073585A1 (ja) 2011-11-16 2013-05-23 国立大学法人静岡大学 ランプ信号発生回路及びcmosイメージセンサ
FR2985065B1 (fr) 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
CN102663409B (zh) 2012-02-28 2015-04-22 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
EP2665257B1 (en) 2012-05-16 2014-09-10 Harvest Imaging bvba Image sensor and method for power efficient readout of sub-picture
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9389229B2 (en) 2012-07-18 2016-07-12 Theranos, Inc. Methods for detecting and measuring aggregation
EP2709066A1 (en) 2012-09-17 2014-03-19 Lakeside Labs GmbH Concept for detecting a motion of a moving object
US9936132B2 (en) 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US20140169663A1 (en) 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
US9760966B2 (en) 2013-01-08 2017-09-12 Nvidia Corporation Parallel processor with integrated correlation and convolution engine
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
US10091419B2 (en) 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US20140368423A1 (en) 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US20150036942A1 (en) 2013-07-31 2015-02-05 Lsi Corporation Object recognition and tracking using a classifier comprising cascaded stages of multiple decision trees
US20150311977A1 (en) 2013-12-16 2015-10-29 Qualcomm Incorporated Methods and apparatus for configuring an image sensor for decoding high frequency visible light communication signals
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2015131045A1 (en) 2014-02-28 2015-09-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US9948391B2 (en) 2014-03-25 2018-04-17 Osram Sylvania Inc. Techniques for determining a light-based communication receiver position
US9983663B2 (en) 2014-05-16 2018-05-29 Qualcomm Incorporated Imaging arrangement for object motion detection and characterization
US20170091550A1 (en) 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9838635B2 (en) 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9762834B2 (en) 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US9767358B2 (en) 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US20160275348A1 (en) 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160283789A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Power-saving illumination for iris authentication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109477A (ja) * 2006-10-26 2008-05-08 Fuji Electric Holdings Co Ltd 画像生成装置および画像生成方法
CN102065248A (zh) * 2006-11-17 2011-05-18 硅通讯技术有限公司 自动调节参考电压的低功耗图像传感器以及包含此传感器的光学点击装置
CN103135889A (zh) * 2011-12-05 2013-06-05 Lg电子株式会社 移动终端及其3d图像控制方法
US20130229508A1 (en) * 2012-03-01 2013-09-05 Qualcomm Incorporated Gesture Detection Based on Information from Multiple Types of Sensors
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID MOLONEY ET AL: "Myriad 2:Eye of the computational vision storm", 《HOT CHIPS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682329B (zh) * 2018-12-14 2020-01-11 技嘉科技股份有限公司 臉部辨識方法、裝置及計算機可讀取媒體

Also Published As

Publication number Publication date
US9986211B2 (en) 2018-05-29
CA2959549A1 (en) 2016-04-07
BR112017006399A2 (pt) 2017-12-19
US20160094814A1 (en) 2016-03-31
US20170116478A1 (en) 2017-04-27
US9870506B2 (en) 2018-01-16
US20170374322A1 (en) 2017-12-28
EP3201831A1 (en) 2017-08-09
WO2016053886A1 (en) 2016-04-07
JP2018501531A (ja) 2018-01-18
KR20170063643A (ko) 2017-06-08
JP6737777B2 (ja) 2020-08-12
US9554100B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
Hazirbas et al. Fusenet: Incorporating depth into semantic segmentation via fusion-based cnn architecture
Qu et al. RGBD salient object detection via deep fusion
US10509479B2 (en) Multi-sensor based user interface
DE112016005059T5 (de) Unterkategorienbewusste faltende neuronale Netzwerke zur Objekterfassung
US20170289341A1 (en) Intuitive computing methods and systems
CN103076877B (zh) 使用姿势与车辆内的移动装置进行交互
US9858681B2 (en) Signal detection, recognition and tracking with feature vector transforms
JP6422955B2 (ja) コンピュータビジョンアプリケーション処理
US9234744B2 (en) Sensor-based mobile search, related methods and systems
US9262696B2 (en) Image capture feedback
US10270896B2 (en) Intuitive computing methods and systems
CN103703758B (zh) 移动增强现实系统
Ni et al. Rgbd-hudaact: A color-depth video database for human daily activity recognition
US9256806B2 (en) Methods and systems for determining image processing operations relevant to particular imagery
CN102006409B (zh) 摄影条件设定设备、摄影条件设定方法和摄影条件设定程序
CN107430697A (zh) 用于光学条形码的定制功能图案
US10319107B2 (en) Remote determination of quantity stored in containers in geographical region
EP2697665B1 (en) Device position estimates from motion and ambient light classifiers
CN103534664B (zh) 存在感测
KR102120864B1 (ko) 영상 처리 방법 및 장치
CA2792336C (en) Intuitive computing methods and systems
CN104350509B (zh) 快速姿势检测器
CN108475331A (zh) 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域
CN105659592A (zh) 用于三维视频的相机系统
US8107676B2 (en) Line length estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination