CN113647095A - 具有反馈回路和多个功率状态的传感器系统架构 - Google Patents

具有反馈回路和多个功率状态的传感器系统架构 Download PDF

Info

Publication number
CN113647095A
CN113647095A CN202080024705.0A CN202080024705A CN113647095A CN 113647095 A CN113647095 A CN 113647095A CN 202080024705 A CN202080024705 A CN 202080024705A CN 113647095 A CN113647095 A CN 113647095A
Authority
CN
China
Prior art keywords
pixel
event
pixels
subset
enabled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080024705.0A
Other languages
English (en)
Inventor
W·尼斯迪克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113647095A publication Critical patent/CN113647095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

在一个具体实施中，一种系统包括图像流水线和具有像素阵列的事件传感器。像素阵列被配置为操作处于启用状态的第一像素子集和处于非启用状态的第二像素子集。事件传感器被配置为输出像素事件。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。图像流水线被配置为消费从像素事件导出的图像数据并基于图像数据将反馈信息传送到事件传感器。反馈信息使得第一像素子集内的像素从启用状态转变到另一个状态。

Description

具有反馈回路和多个功率状态的传感器系统架构
相关申请的交叉引用
本申请涉及于2020年3月20日提交的名称为“HARDWARE IMPLEMENTATION OFSENSOR ARCHITECTURE WITH MULTIPLE POWER STATES”的国际申请_______________，该申请在重现时全文以引用方式并入本文。
技术领域
本公开整体涉及图像处理领域，并且具体地讲，涉及用于实现传感器系统架构的技术，该传感器系统架构具有反馈回路和被配置为支持多种功率状态的传感器。
背景技术
事件相机可包括被称为动态视觉传感器(“DVS”)的图像传感器、硅视网膜、基于事件的传感器或无帧传感器。因此，事件相机生成(并传输)关于每个像素传感器处的光强度变化的数据，与之相对，基于帧的相机输出关于每个像素处的绝对光强度的数据。换句话说，当设置在视场内的场景的照明水平保持稳定时，基于帧的相机将继续生成(并传输)关于每个像素处的绝对光强度的数据，而事件相机将抑制生成或传输数据，直到检测到照明水平的变化。
一些图像处理操作利用从事件驱动传感器所输出的像素事件导出的不完整图像数据集。此类图像处理操作可以通过裁切图像数据来提高计算效率，并处理经裁切的图像数据以节省功率等。然而，与经裁切的图像数据外部的图像数据相对应的事件驱动传感器的像素继续操作，并因此继续消耗功率。因此，希望解决在图像处理操作利用从事件驱动传感器所输出的像素事件导出的不完整图像数据集时产生的这种低效问题。
发明内容
本文所公开的各种具体实施涉及用于实现事件相机系统架构的技术，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，一种系统包括图像流水线和具有像素阵列的事件传感器。像素阵列被配置为操作处于启用状态的第一像素子集和处于非启用状态的第二像素子集。事件传感器被配置为输出像素事件。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。图像流水线被配置为消费(consume)从像素事件导出的图像数据并基于图像数据将反馈信息传送到事件传感器。反馈信息使得第一像素子集内的像素从启用状态转变到另一个状态。
在另一个具体实施中，一种系统包括事件传感器、处理器和计算机可读存储介质。事件传感器包括像素阵列，该像素阵列被配置为具有在全功率模式下操作的启用像素区域和在关断功率模式或低功率模式下操作的非启用像素区域。计算机可读存储介质包括在由处理器执行时使得系统执行操作的指令。操作包括将像素事件从事件传感器输出到图像流水线。响应于启用像素区域内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。操作还包括基于从像素事件导出的图像数据来从图像流水线接收反馈信息。响应于接收到反馈信息，引导启用像素区域内的像素在关断功率模式或低功率模式下操作。
在另一个具体实施中，一种系统包括处理器、图像流水线和计算机可读存储介质，该计算机可读存储介质包括在由处理器执行时使得系统执行操作的指令。操作包括由图像流水线从具有像素阵列的事件传感器接收像素事件，该像素阵列包括处于启用状态的第一像素子集和处于非启用状态的第二像素子集。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。操作还包括利用图像流水线从像素事件导出图像数据。图像流水线基于图像数据生成反馈信息。该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到另一个状态。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1示出了根据一些具体实施的事件传感器的功能框图。
图2是用于实现具有硬件架构的事件驱动传感器的示例性系统的框图，该硬件架构被配置为支持启用、待机和非启用操作状态。
图3示出了图像流水线从事件传感器所输出的像素事件导出的完整图像数据集的示例。
图4示出了图像流水线从事件传感器所输出的像素事件导出的经裁切的图像数据的示例。
图5示出了事件传感器的像素阵列内的不同像素的示例，该不同像素基于从图像流水线接收到的反馈信息而具有不同操作状态。
图6示出了具有不同像素的像素阵列的示例，该不同像素具有不同操作状态，随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而修改一些像素的操作状态。
图7示出了图6的像素阵列内的像素子集，该像素子集随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而从一个操作状态转变到另一个操作状态。
图8示出了根据一些具体实施的事件传感器输出以用于进一步处理的像素事件的示例性二维(“2D”)图块。
图9是根据一些具体实施的示例性头戴式设备(HMD)的框图。
图10是示出实现事件相机系统架构的方法的示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。
图11是示出实现事件相机系统架构的方法的另一个示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
示例性事件传感器100的功能框图由图1示出。事件传感器100包括多个像素105，该多个像素被定位成从设置在事件传感器100的视场内的场景接收光。在图1中，多个像素105被布置成行和列的矩阵107，并且因此，多个像素105中的每个像素与行值和列值相关联。多个像素105中的每个像素包括光电检测器电路110和事件电路180。
光电检测器电路110被配置为生成指示入射在相应像素105上的光(“入射照明”)强度的信号。为此，光电检测器电路110包括被配置为生成与入射照明强度成比例的光电流的光电二极管112。由光电二极管112生成的光电流流入到由晶体管121、123、125和127形成的对数放大器120中。对数放大器120被配置为在节点A处将光电流转换成电压，该电压的值为光电流值的对数。然后，节点A处的电压在被施加到事件电路180的差分电路140的输入侧之前被由晶体管131和133形成的缓冲放大器130放大。
像素105还包括事件电路180，该事件电路包括差分电路140、比较器160和控制器170。差分电路140由交流(“AC”)耦合电容器145和开关电容放大器150组成。差分电路140被配置为从节点A处的电压除去直流(“DC”)电压分量，以在采样节点B处产生像素数据。通过从节点A处的电压除去DC电压分量，采样节点B处的像素数据提供由光电二极管112检测的入射照明强度的微分值。由放大器151提供的增益对应于由AC耦合电容器145与电容器153的相应电容值定义的比率。当从控制器170接收复位信号时，激活复位开关155(即从打开状态转变到闭合状态)。通过激活复位开关155，将放大器151的操作点复位到与比较器160的阈值相关联的参考电压。
比较器160被配置为提供对从样本节点B接收的像素数据的像素级处理。为此，当从样本节点B接收的像素数据指示光电二极管112检测到入射照明强度的突破阈值的变化时，比较器160输出电响应(例如，电压)。可选地，当从样本节点B接收的像素数据指示光电二极管112没有检测到入射照明强度的突破阈值的变化时，比较器160抑制输出电响应。在一些情况下，比较器160所输出的电响应被称为事件数据。
在一个具体实施中，使用包括被配置为输出指示正事件(例如，具有正极性的事件)的电响应的第一比较器和被配置为输出指示负事件(例如，具有负极性的事件)的电响应的第二比较器的多个比较器来实现比较器160。在一个具体实施中，当从样本节点B接收的像素数据指示光电二极管112检测到入射照明强度的突破正阈值的变化时，第一比较器输出电响应。在一个具体实施中，当从样本节点B接收的像素数据指示光电二极管112检测到入射照明强度的突破负阈值的变化时，第二比较器输出电响应。
控制器170被配置为与事件传感器100的其他部件(例如，其他像素内的控制器)协作，以针对比较器160所输出的每个电响应，将事件信号(例如，事件数据的样本)传送到事件编译器190。在一个具体实施中，每当比较器160在采样节点B处获得突破阈值的像素数据时，复位开关155就从控制器170接收复位信号。
事件编译器190从多个像素105中的各自表示入射照明强度变化突破阈值的每个像素接收事件信号(例如，事件数据的样本)。响应于从多个像素105中的特定像素接收事件数据的样本，事件编译器190生成像素事件。当事件信号与指示突破正阈值(或电压)的入射照明强度变化的像素数据相关联时，由事件编译器190生成的像素事件可被称为“正”像素事件。在一个具体实施中，正像素事件是具有表示入射照明强度的超过由上限阈值或电压(“Vth”)限定的幅度的净增加的正极性的像素事件。当事件信号与指示突破负阈值(或电压)的入射照明强度变化的像素数据相关联时，由事件编译器生成的像素事件可被称为“负”像素事件。在一个具体实施中，负像素事件是具有表示入射照明强度的超过由下限阈值或电压(“-Vth”)限定的幅度的净减少的负极性的像素事件。
此外，事件编译器190利用指示包括在事件信号中的电响应的信息(例如，电响应的值或极性)填充像素事件。在一个具体实施中，事件编译器190还利用以下中一者或多者填充像素事件：与像素事件生成的时间点相对应的时间戳信息和与发送触发像素事件的事件信号的特定像素相对应的地址标识符。然后可以将包括由事件编译器190生成的每个像素事件的像素事件流传送到与事件传感器100相关联的图像流水线(例如，图像或视频处理电路)(未示出)，以用于进一步处理。
通过示例，由事件编译器190生成的像素事件流可以累积或以其他方式组合以产生图像数据。在一些具体实施中，将像素事件流组合以提供强度重建图像。在该具体实施中，强度重建图像发生器(未示出)可随时间累积像素事件以重建/估计绝对强度值。随着附加像素事件累积，强度重建图像发生器改变重建图像中的对应值。这样，即使仅一些像素最近可能已经接收到事件，它也为图像的所有像素生成并保持值的更新图像。
在各种具体实施中，事件驱动传感器利用被配置为支持启用、待机和操作状态的硬件架构来实现。一般来讲，这涉及事件传感器210将像素事件输出到图像流水线220，并且作为响应，从图像流水线220接收反馈信息，如图2的示例性系统200中所示。图像流水线220被配置为消费从事件传感器210所输出的像素事件导出的图像数据。为此，图像流水线220包括一个或多个部件，诸如上面参考图1讨论的强度重建图像发生器，以从像素事件导出图像数据。图像流水线220的一个或多个部件可以使用硬件部件(例如，专用集成电路、数字信号处理器等)和软件部件(例如，降噪过程、图像缩放过程、色彩空间转换过程等)的各种组合来实现。
在各种具体实施中，图像流水线220实现利用从事件传感器210所输出的像素事件导出的不完整图像数据集的一些功能。以举例的方式，图像流水线220还可以包括特征跟踪器，该特征跟踪器被配置为检测从像素事件导出的图像数据中描绘的特征(例如，使用诸如SIFT、KAZE等技术)，并且随时间推移跟踪该特征(例如，使用诸如Kanade-Lucas-Tomasi跟踪器、Shi-Tomasi跟踪器等的技术)。在该示例中，图像流水线220的特征跟踪器可以通过使用图像数据检测和跟踪凝视特性(例如，瞳孔中心、瞳孔轮廓、闪光位置、凝视方向等)来实现眼睛跟踪功能，该图像数据描绘了从事件传感器210所输出的像素事件导出的用户眼睛。
图3示出了完整图像数据集300的示例，其描绘了图像流水线220可以从事件传感器210所输出的像素事件导出的用户眼睛。为了实现眼睛跟踪功能，图像流水线220的特征跟踪器已使用驻留在感兴趣区域320中的图像数据300的子集来估计瞳孔中心(“估计的瞳孔中心”)310在眼睛内的位置。处理完整图像数据集300以实现眼睛跟踪功能对于图像流水线220的特征跟踪器而言可能是计算密集的，并且消耗过多功率和计算资源。为了提高计算效率并降低功率消耗，图像流水线220的特征跟踪器可以处理驻留在感兴趣区域320中的图像数据的子集。可以裁切驻留在感兴趣区域320之外的图像数据以形成经裁切的图像数据400，如图4所示。
可以使用图像流水线220来实现裁切驻留在感兴趣区域320之外的图像数据的一种技术。根据该技术，图像流水线220可以接收对应于事件传感器210的视场的像素事件。为了形成经裁切的图像数据400，图像流水线220可以忽略与驻留在感兴趣区域320之外的图像数据对应的像素事件，或者在导出完整图像数据集300之后裁切驻留在感兴趣区域320之外的图像数据。然而，在任一种情况下，事件传感器210包括像素子集，该像素子集生成与驻留在感兴趣区域320之外的图像数据对应的像素事件，该像素事件继续消耗功率。此外，与驻留在感兴趣区域320之外的图像数据对应的像素事件继续消耗事件传感器210和图像流水线220之间的通信路径的带宽。因此，实现裁切驻留在涉及事件传感器210的感兴趣区域320之外的图像数据的技术可以进一步降低功率和带宽消耗。
为此，图像流水线220将反馈信息传送到事件传感器210，如图2所示。在各种具体实施中，此类反馈信息表示事件传感器(例如，事件传感器210)和图像流水线(例如，图像流水线220)之间的反馈回路。如下面更详细地讨论的，图像流水线消费从事件传感器所输出的像素事件导出的图像数据。基于图像数据，图像流水线生成对应于图像数据的子集(例如，感兴趣区域)的反馈信息，该反馈信息对特定图像处理操作可能比对图像数据的其他部分更有用。即，反馈信息对应于针对特定图像处理操作对其执行处理的图像数据的子集。响应于反馈信息，可以相应地修改事件传感器的像素阵列内的每个像素的操作状态。具体地讲，事件传感器的像素阵列内的不同像素可以基于从图像流水线接收到的反馈信息具有不同操作状态。
图5示出了事件传感器的像素阵列500的示例，其中像素被配置为支持不同的操作状态。像素阵列500包括多个像素，该多个像素被定位成从设置在事件传感器的视场内的场景接收光。因此，当多个像素中的每个像素的操作状态为启用状态时，从事件传感器所输出的像素事件导出的图像数据通常描绘事件传感器的视场。如本文所用，“启用状态”是指像素的操作状态，其中像素的光电检测器电路和事件电路各自被激活(或全功能)。在一个具体实施中，将具有各自被激活(或全功能)的事件电路和光电检测器电路的像素限定为在全功率模式下操作。
当事件传感器从图像流水线接收到不完整图像数据集正在由特定图像处理操作处理的反馈信息时，事件传感器的一些像素可以从启用状态转变到另一个操作状态。例如，事件传感器的一些像素可以转变为非启用状态。如本文所用，“非启用状态”是指像素的其中像素功能不完全的操作状态。在一个具体实施中，处于非启用状态的像素的光电检测器电路和事件电路各自被去激活(或无功能)。在一个具体实施中，将具有各自被去激活(或无功能)的事件电路和光电检测器电路的像素限定为在关断功率模式下操作。
在一些情况下，事件传感器的像素可能无法立即从非启用状态转变到启用状态。为了减轻此类延迟问题，事件传感器的一些像素可以从启用状态转变到待机状态。如本文所用，“待机状态”是指像素的其中像素功能不完全但比处于非启用状态的像素功能强的操作状态。在一个具体实施中，像素的事件电路在像素转变为待机状态时被去激活(或无功能)，而像素的光电检测器电路被激活(或全功能)。在一个具体实施中，将具有被去激活(或无功能)的事件电路和被激活(或全功能)的光电检测器电路的像素限定为在低功率模式下操作。
以举例的方式，图像流水线可以基于图3的图像数据300来传送反馈信息。响应于该反馈信息，像素阵列500的区域520内的第一像素子集处于启用状态，区域510内的第二像素子集处于待机状态，并且区域510和520外部的第三像素子集处于非启用状态。在该示例中，区域520内的第一像素子集可以与对应于图3和图4的感兴趣区域320的像素事件相关联。在一个具体实施中，区域520限定像素阵列500的启用区域。在一个具体实施中，启用区域(例如，区域520)内的像素子集在关断功率模式或低功率模式下操作。
在一个具体实施中，反馈信息包括限定像素阵列500内一个或多个区域的位置的参数。例如，限定区域510的位置的参数可以包括相对于像素阵列500的边界指定的偏移值，诸如x偏移512、y偏移514或它们的组合。又如，限定区域520的位置的参数可以包括相对于像素阵列500的边界指定的偏移值，诸如x偏移512、x偏移522、y偏移514和y偏移524的一些组合。
在一个具体实施中，像素阵列500的一个或多个区域具有预定义尺寸。例如，区域510可以具有被指定为宽度516和高度518的预定义尺寸。又如，区域520可以具有被指定为宽度526和高度528的预定义尺寸。在一个具体实施中，反馈信息包括限定像素阵列500内一个或多个区域的尺寸的参数。例如，反馈信息的参数可以限定宽度516、宽度526、高度518和高度528中的一者或多者。
图6示出了具有不同像素的事件传感器的像素阵列600的示例，该不同像素具有不同操作状态，随着从图像流水线接收到的反馈信息在第一时间和第二时间之间更新而修改一些像素的操作状态。在第一时间，图像流水线可以基于从事件传感器所输出的像素事件导出的图像数据来生成反馈信息。响应于接收到由图像流水线在第一时间生成的反馈信息，像素阵列600的区域620A内的第一像素子集处于启用状态，区域610A内的第二像素子集处于待机状态，并且区域610A和620A外部的第三像素子集处于非启用状态。
在第一时间之后，图像流水线可以从事件传感器接收附加像素事件，该附加像素事件改变由图像流水线正在处理的图像数据。例如，感兴趣特征(例如，图3的瞳孔中心310)在图像数据内的位置可以随着图像数据被附加像素事件更新而改变。在第二时间，图像流水线可以生成反馈信息，该反馈信息说明由附加像素事件引起的图像数据的该变化。响应于接收到由图像流水线在第二时间生成的反馈信息，像素阵列600的区域620B内的第一像素子集处于启用状态，区域610B内的第二像素子集处于待机状态，并且区域610B和620B外部的第三像素子集处于非启用状态。
在第一时间和第二时间之间，像素阵列600内的一些像素响应于从图像流水线接收到的反馈信息而从一个操作状态转变到另一个操作状态。例如，如图7所示，在第一时间处于待机状态的子区域710内的像素将在第二时间转变为非启用状态。在第一时间处于启用状态的像素阵列600的子区域720内的像素将在第二时间转变为待机状态。类似地，在第一时间处于待机状态的子区域730内的像素将在第二时间转变为启用状态，并且在第一时间处于非启用状态的子区域740内的像素将在第二时间转变为待机状态。
在各种具体实施中，事件传感器(例如，图2的事件传感器210)可被配置为将像素事件输出到图像流水线(例如，图像流水线220)。如上面相对于图1所讨论的，在各种具体实施中，事件传感器的事件编译器(例如，事件编译器190)可利用以下项的某种组合来填充每个像素事件：(i)与发送触发相应像素事件的事件信号的特定像素相对应的地址标识符(例如，特定像素的x/y坐标–[x,y])；(ii)指示包括在事件信号中的电响应的信息(例如，电响应的值或极性–“强度”)；以及(iii)与相应像素事件生成的时间点(“T”)相对应的时间戳信息。如果事件传感器的事件编译器生成一定数量(“N”)的像素事件并利用所有三个数据点填充每个像素事件，则这些N个像素事件(像素事件1...N)可表示为以下像素事件列表：([x,y]，强度1，T1)、([x,y]，强度2，T2)、...、([x,y]，强度N，TN)。在一个具体实施中，事件传感器被配置为将此类像素事件作为像素事件箱输出到图像流水线(例如，图像流水线220)。一般来讲，像素事件箱被认为是像素事件的集合。本领域的技术人员将认识到，分箱包括将各个数据值(例如，像素事件)分组为限定区间(或箱)。
在一个具体实施中，可基于事件计数来限定此类区间。例如，事件传感器可在生成预定义数量的像素事件(例如，10个像素事件)之后输出每个像素事件箱。在该具体实施中，继续前述示例并假设N＝40，由事件编译器生成的40个像素事件可被分组为4个像素事件箱以输出到图像流水线。该示例的四个箱将包括：包括像素事件1...10的第一像素事件箱；包括像素事件11...20的第二像素事件箱；包括像素事件21...30的第三像素事件箱；以及包括像素事件31至40的第四像素事件箱。在一个具体实施中，事件传感器的基于硬件/软件的事件计数器可监测由一个或多个事件编译器生成的像素事件的数量，并且在该数量达到像素事件的预定义数量时使事件传感器输出像素事件箱。
在一个具体实施中，可使用周期性基础(例如，每0.5毫秒(“ms”))来限定此类区间。在该具体实施中，继续前述示例并且假设在4ms时间段内在40个像素事件之间有规律地间隔开的时间戳，40个像素事件可被分组为8个像素事件箱。该示例的八个箱将包括：包括在4ms时间段的0ms至0.5ms之间生成的像素事件(像素事件1...5)的第一像素事件箱；包括在0.5ms至1.0ms之间生成的像素事件(像素事件6...10)的第二像素事件箱；包括在1.0ms至1.5ms之间生成的像素事件(像素事件11...15)的第三像素事件箱；包括在1.5ms至2.0ms之间生成的像素事件(像素事件16...20)的第四像素事件箱；包括在2.0ms至2.5ms之间生成的像素事件(像素事件21...25)的第五像素事件箱；包括在2.5ms至3.0ms之间生成的像素事件(像素事件26...30)的第六像素事件箱；包括在3.0ms至3.5ms之间生成的像素事件(像素事件31...35)的第七像素事件箱；以及包括在3.5ms至4.0ms之间生成的像素事件(像素事件36...40)的第八像素事件箱。
在一个具体实施中，周期性基础与事件传感器的全局读出操作或全局复位操作同步。在一个具体实施中，全局读出操作包括特定像素子集(例如，特定行或特定列)内的每个像素的相应控制器触发相应比较器在公共(或基本上公共)时间处理像素数据。在一个具体实施中，全局复位操作包括每次像素数据的样本由相应比较器处理，将像素数据值(或电压)复位到参考值(或电压)Vref。
在一个具体实施中，每个像素事件箱作为像素事件列表(例如，类似于上面呈现的像素事件列表)输出。在一个具体实施中，每个像素事件箱作为像素事件的二维(“2D”)图块输出。图8描绘了事件传感器可生成以输出到图像流水线的像素事件的此类2D图块的示例。在一个具体实施中，使用地址标识符信息将每个像素事件映射到像素事件的对应2D图块的特定位置。在一个具体实施中，每个2D图块对由包括在对应像素事件箱中的每个像素事件提供的电响应的值或极性进行编码。在接收到特定2D图块(例如，图块810)时，图像流水线可识别既检测到给定区间内(例如，像素事件812)的正入射照明变化又检测到给定区间内(例如，像素事件814)的负入射照明变化的特定像素。在一个具体实施中，图像流水线可使用在2D图块中编码的电响应的值或极性来更新强度重建图像。
图9示出了根据一些具体实施的头戴式设备900的框图。头戴式设备900包括容纳头戴式设备900的各种部件的外壳901(或壳体)。外壳901包括(或联接到)相对于头戴式设备900的用户10设置在外壳901的近侧端部处的眼垫905。在各种具体实施中，眼垫905是塑料或橡胶件，其舒适且贴合地将头戴式设备900保持在用户10的面部上的适当位置(例如，围绕用户10的眼睛)。
在一些具体实施中，经由设置在外壳901内的显示器910将图像数据呈现给头戴式设备900的用户10。虽然图9示出了包括显示器910和眼垫905的头戴式设备900，但在各种具体实施中，头戴式设备900不包括显示器910或者包括光学透视显示器而不包括眼垫905。
头戴式设备900还包括设置在外壳901内的凝视跟踪系统，该凝视跟踪系统包括事件传感器924、控制器980和任选的一个或多个光源922。一般来讲，控制器980被配置为与事件传感器924和图像流水线(例如，图2的图像流水线220)的特征跟踪器进行交互，以检测和跟踪用户10的凝视特性。在一个具体实施中，系统包括一个或多个光源922，该一个或多个光源发射光，该光以光图案(例如，闪光圈)从用户10的眼睛反射并由事件传感器924检测。为此，控制器980被配置为响应于从图像流水线接收的信息(例如，反馈信息)而激活一个或多个光源922。基于光图案，图像流水线的特征跟踪器可确定用户10的凝视跟踪特性(例如，凝视方向、瞳孔中心、瞳孔尺寸等)。
在一个具体实施中，控制器980被配置为通过以限定频率(例如，300赫兹)对光源922进行脉冲处理来激活光源922。在一个具体实施中，以限定频率对光源922进行脉冲处理使得事件传感器924内的至少一个像素子组(例如，处于启用状态的像素)以与限定频率成比例的速率生成事件数据。
在一个具体实施中，不使用光源，并且环境中存在的光对眼睛进行被动地照明。可通过分析图像并提取特征诸如瞳孔位置、外观和形状(例如，使用模板匹配、或将拐角或特征检测器与分类器组合、或使用受过训练的神经网络)来确定凝视跟踪特性(例如，凝视方向、瞳孔中心、瞳孔尺寸等)，并且将其与眼睛的附加特征(诸如虹膜轮廓(角膜缘)或眼睑形状和眼睑拐角位置)的位置和外观相关联。
图10是示出实现事件相机系统架构的方法1000的示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，方法1000由图2的事件传感器210实现。在框1002处，方法1000包括将像素事件从具有像素阵列的事件传感器输出到图像流水线。像素阵列被配置为具有在全功率模式下操作的启用像素区域和在关断功率模式或低功率模式下操作的非启用像素区域。响应于启用像素区域内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。
在一个具体实施中，像素事件作为像素事件箱从事件传感器输出。在一个具体实施中，事件传感器被配置为在周期性基础上输出像素事件箱。在一个具体实施中，周期性基础与事件传感器的全局读出操作或全局复位操作同步。在一个具体实施中，在生成预定义数量的像素事件之后，从事件传感器输出像素事件箱。在一个具体实施中，像素事件箱作为像素事件的2D图块(例如，图8中所描绘的像素事件的2D图块)输出。在一个具体实施中，像素事件作为像素事件列表从事件传感器输出。
在框1004处，方法1000包括基于从像素事件导出的图像数据来从图像流水线接收反馈信息。在一个具体实施中，反馈信息是启用区域偏移，该启用区域偏移限定像素阵列的区域，该区域对应于图像流水线在图像数据内跟踪的感兴趣区域。在框1006处，方法1000包括响应于接收到反馈信息，引导启用像素区域内的像素在关断功率模式或低功率模式下操作。
在一个具体实施中，反馈信息可包括位掩码，所述位掩码对每个单独像素的目标像素状态进行编码，例如所述位掩码可表示处于启用状态的圆形区域，而传感器的其余部分处于就绪或非启用状态；此外，可以容易地看出，所述掩码可如何表示传感器中任何任意形状的区域或区域组正处于所提及状态中的一种，其中最小尺寸的所述区域为任何单独的像素。
图11是示出实现事件相机系统架构的方法1100的另一个示例的流程图，该事件相机系统架构具有反馈回路和被配置为支持多种功率状态的事件驱动传感器。在一个具体实施中，方法1000由图2的图像流水线220实现。在框1102处，方法1100包括由图像流水线从具有像素阵列的事件传感器接收像素事件，该像素阵列包括处于启用状态的第一像素子集和处于非启用状态的第二像素子集。响应于第一像素子集内的特定像素检测到超过比较器阈值的光强度变化，生成每个相应像素事件。在一个具体实施中，像素事件作为像素事件箱从事件传感器接收。在一个具体实施中，像素事件作为像素事件列表从事件传感器接收。
在框1104处，方法1100包括利用图像流水线从像素事件导出图像数据。在框1106处，方法1100包括利用图像流水线基于图像数据生成反馈信息。该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到另一个操作状态。在一个具体实施中，该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到非启用状态。在一个具体实施中，该反馈信息使得事件传感器引导第一像素子集内的像素从启用状态转变到待机状态。在一个具体实施中，生成反馈信息包括利用图像流水线来在图像数据内跟踪感兴趣区域。在一个具体实施中，反馈信息是启用区域偏移，该启用区域偏移限定像素阵列的区域，该区域对应于图像流水线在图像数据内跟踪的感兴趣区域。
在一个具体实施中，方法1100还包括以限定频率对光源进行脉冲处理，该光源被配置为朝向设置在事件传感器的视场内的场景发射光。在一个具体实施中，以限定频率对光源进行脉冲处理使得第一像素子集内的像素以与限定频率成比例的速率生成事件数据。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种系统，包括：
具有像素阵列的事件传感器，所述像素阵列被配置为操作处于启用状态的第一像素子集和处于非启用状态的第二像素子集，所述事件传感器被配置为输出像素事件，每个相应像素事件响应于所述第一像素子集内的特定像素检测到超过比较器阈值的光强度变化而被生成；和
图像流水线，所述图像流水线被配置为消费从所述像素事件导出的图像数据并基于所述图像数据将反馈信息传送到所述事件传感器，所述反馈信息使得所述第一像素子集内的像素从所述启用状态转变到另一个状态。
2.根据权利要求1所述的系统，其中所述反馈信息对应于由所述图像流水线在所述图像数据内跟踪的感兴趣区域。
3.根据权利要求1至2中任一项所述的系统，其中所述第二像素子集中的每个像素在关断功率模式下操作。
4.根据权利要求1至3中任一项所述的系统，其中所述像素阵列还包括处于待机状态的第三像素子集，所述第三像素子集中的每个像素在低功率模式下操作。
5.根据权利要求4所述的系统，其中所述反馈信息使得所述第一像素子集内的所述像素转变到所述待机状态。
6.一种系统，包括：
具有像素阵列的事件传感器，所述像素阵列被配置为具有在全功率模式下操作的启用像素区域和在关断功率模式或低功率模式下操作的非启用像素区域；
处理器；和
包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述系统执行操作，所述操作包括：
将像素事件从所述事件传感器输出到图像流水线，每个相应像素事件响应于所述启用像素区域内的特定像素检测到超过比较器阈值的光强度变化而被生成；
基于从所述像素事件导出的图像数据来从所述图像流水线接收反馈信息；以及
响应于接收到所述反馈信息，引导所述启用像素区域内的像素在所述关断功率模式或所述低功率模式下操作。
7.根据权利要求6所述的系统，其中所述非启用像素区域内的每个像素在所述关断功率模式下操作，并且其中所述像素阵列还包括在所述低功率模式下操作的待机像素区域。
8.根据权利要求7所述的系统，其中所述待机像素区域居间于所述像素阵列内的所述启用像素区域和所述非启用像素区域之间。
9.根据权利要求6至8中任一项所述的系统，其中所述启用像素区域内的像素子集在所述关断功率模式或所述低功率模式下操作。
10.根据权利要求6至9中任一项所述的系统，其中输出所述像素事件包括：
将像素事件箱从所述事件传感器输出到所述图像流水线。
11.根据权利要求10所述的系统，其中在周期性基础上从所述事件传感器输出所述像素事件箱。
12.根据权利要求11所述的系统，其中所述周期性基础与所述事件传感器的全局读出操作或全局复位操作同步。
13.根据权利要求10所述的系统，其中所述事件传感器在生成预定义数量的像素事件之后输出每个像素事件箱。
14.根据权利要求10所述的系统，其中每个像素事件箱作为像素事件的二维图块输出。
15.根据权利要求10所述的系统，其中每个像素事件箱作为像素事件列表从所述事件传感器输出。
16.一种系统，包括：
处理器；
图像流水线；和
包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述系统执行操作，所述操作包括：
由所述图像流水线从具有像素阵列的事件传感器接收像素事件，所述像素阵列包括处于启用状态的第一像素子集和处于非启用状态的第二像素子集，每个相应像素事件响应于所述第一像素子集内的特定像素检测到超过比较器阈值的光强度变化而被生成；
利用所述图像流水线从所述像素事件导出图像数据；以及
利用所述图像流水线基于所述图像数据生成反馈信息，所述反馈信息使得所述事件传感器引导所述第一像素子集内的像素从所述启用状态转变到另一个状态。
17.根据权利要求16所述的系统，其中生成所述反馈信息包括：
利用所述图像流水线来在所述图像数据内跟踪感兴趣区域。
18.根据权利要求16至17中任一项所述的系统，还包括：
光源，所述光源被配置为朝向设置在所述事件传感器的视场内的场景发射光。
19.根据权利要求18所述的系统，其中所述指令在被执行时进一步使得所述系统执行附加操作，所述附加操作包括：
以限定频率对所述光源进行脉冲处理，以使得所述第一像素子集内的像素以与所述限定频率成比例的速率生成事件数据。
20.根据权利要求16至19中任一项所述的系统，其中所述反馈信息是启用区域偏移，所述启用区域偏移限定所述像素阵列的区域，所述区域对应于所述图像流水线在所述图像数据内跟踪的感兴趣区域。
CN202080024705.0A 2019-03-27 2020-03-20 具有反馈回路和多个功率状态的传感器系统架构 Pending CN113647095A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962824493P 2019-03-27 2019-03-27
US62/824,493 2019-03-27
PCT/US2020/023750 WO2020197956A1 (en) 2019-03-27 2020-03-20 Sensor system architecture with feedback loop and multiple power states

Publications (1)

Publication Number Publication Date
CN113647095A true CN113647095A (zh) 2021-11-12

Family

ID=70285954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080024705.0A Pending CN113647095A (zh) 2019-03-27 2020-03-20 具有反馈回路和多个功率状态的传感器系统架构

Country Status (5)

Country Link
US (1) US11831981B2 (zh)
EP (1) EP3949381B1 (zh)
KR (1) KR102594526B1 (zh)
CN (1) CN113647095A (zh)
WO (1) WO2020197956A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339089A (zh) * 2021-12-29 2022-04-12 深圳锐视智芯科技有限公司 一种事件图像输出方法、装置、设备及可读存储介质
CN114827467A (zh) * 2022-04-22 2022-07-29 深圳锐视智芯科技有限公司 一种事件型图像传感器及控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594526B1 (ko) 2019-03-27 2023-10-25 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
CN113632453A (zh) 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
US11405580B2 (en) * 2020-09-09 2022-08-02 Fotonation Limited Event camera hardware
CN112738755B (zh) * 2020-12-31 2023-09-15 上海遨有信息技术有限公司 电力物联网领域无线通信模组与传感器交互的方法
US20230260282A1 (en) * 2022-02-15 2023-08-17 Sony Group Corporation Information processing devices, information processing methods and video streaming system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2804074A2 (en) * 2013-04-29 2014-11-19 Tobii Technology AB Power Efficient Image Sensing Apparatus, Method of Operating the Same and Eye/Gaze Tracking System
US20160037110A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Image sensor and method of driving image sensor, and image capturing apparatus using the same
US20180167570A1 (en) * 2016-12-14 2018-06-14 Samsung Electronics Co., Ltd. Event-based sensor and event-based sensing method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890210B2 (ja) 2000-08-11 2007-03-07 キヤノン株式会社 画像撮影装置及び画像撮影装置の制御方法
US7807955B2 (en) * 2008-05-30 2010-10-05 Eastman Kodak Company Image sensor having reduced well bounce
US8508612B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
WO2013070942A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9503641B2 (en) * 2013-02-19 2016-11-22 Microsoft Technology Licensing, Llc Energy-proportional image sensor
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
US9001251B2 (en) * 2013-09-10 2015-04-07 Rambus Inc. Oversampled image sensor with conditional pixel readout
CN106165399B (zh) * 2014-04-07 2019-08-20 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US9521349B2 (en) * 2014-06-19 2016-12-13 Rambus Inc. Image sensor architecture with power saving readout
JP2016184843A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR20180056962A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10395376B2 (en) * 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
US10845601B1 (en) * 2018-02-07 2020-11-24 Apple Inc. AR/VR controller with event camera
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
CN113632453A (zh) 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
KR102594526B1 (ko) 2019-03-27 2023-10-25 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2804074A2 (en) * 2013-04-29 2014-11-19 Tobii Technology AB Power Efficient Image Sensing Apparatus, Method of Operating the Same and Eye/Gaze Tracking System
US20160037110A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Image sensor and method of driving image sensor, and image capturing apparatus using the same
US20180167570A1 (en) * 2016-12-14 2018-06-14 Samsung Electronics Co., Ltd. Event-based sensor and event-based sensing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339089A (zh) * 2021-12-29 2022-04-12 深圳锐视智芯科技有限公司 一种事件图像输出方法、装置、设备及可读存储介质
CN114339089B (zh) * 2021-12-29 2024-08-09 深圳锐视智芯科技有限公司 一种事件图像输出方法、装置、设备及可读存储介质
CN114827467A (zh) * 2022-04-22 2022-07-29 深圳锐视智芯科技有限公司 一种事件型图像传感器及控制方法

Also Published As

Publication number Publication date
WO2020197956A1 (en) 2020-10-01
US20210377453A1 (en) 2021-12-02
US11831981B2 (en) 2023-11-28
KR20210130778A (ko) 2021-11-01
EP3949381B1 (en) 2024-07-24
KR102594526B1 (ko) 2023-10-25
EP3949381A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN113647095A (zh) 具有反馈回路和多个功率状态的传感器系统架构
JP7357624B2 (ja) イベントベースセンサからの信号を処理する方法および装置
JP7442560B2 (ja) 事象ベースの視覚センサのためのデータ速度制御
US20210011548A1 (en) Fast wake-up in a gaze tracking system
JP7383616B2 (ja) イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ
Morimoto et al. Pupil detection and tracking using multiple light sources
US11856305B2 (en) Hardware implementation of sensor architecture with multiple power states
CN110114739B (zh) 具有低延迟和低功率的眼睛跟踪系统
US8803978B2 (en) Computer vision-based object tracking system
KR20170090347A (ko) 이미지 형성에 관한 동적 비전 센서의 이벤트 샘플링을 위한 장치 및 방법
KR102357680B1 (ko) 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
US20210377512A1 (en) Processing of signals using a recurrent state estimator
KR20230017273A (ko) 시선 추적 장치, 시선 추적 방법 및 컴퓨터 판독가능 매체
JP2023184501A (ja) イベントベースセンサのためのアンチフリッカーフィルタ軽減
TW201608423A (zh) 可調整取樣週期之導航裝置
WO2014174061A1 (fr) Suivi visuel d'objet
KR20230009893A (ko) 이벤트 카메라에 대한 자동초점 이미징 회로부, 자동초점 이미징 장치, 및 자동초점 이미징 방법
Bankar et al. Head gesture recognition system using gesture cam
Zhang et al. Eye detection for electronic map control application
Lenz et al. A Framework for Event-based Computer Vision on a Mobile Device
Wankhede et al. Human computer interaction using eye and speech: the hybrid approach
Lv et al. Denoising algorithm based on event camera
WO2022265654A1 (en) Image analysis to switch audio devices
Mhatre et al. Background Subtraction Motion Detection Techniques used in Visual Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination