CN114667725A - 利用低功率同步读出的传感器 - Google Patents

Abstract

本文所公开的各种具体实施包括在由传感器同步读出多个帧期间缓冲设备存储器中的事件的设备、系统和方法。本文所公开的各种具体实施包括禁用传感器通信链路直到缓冲的事件足以由传感器传输为止的设备、系统和方法。在一些具体实施中，使用同步读出的传感器可以基于有多少像素正在检测事件来为一个或多个帧选择读出模式。在一些具体实施中，仅读出发生事件的低百分比像素的数据的第一模式使用设备存储器，而第二模式基于诸如高百分比像素检测到事件的累积标准绕过该设备存储器。在第二模式中，可以读出每个像素较少的数据。

Description

利用低功率同步读出的传感器

技术领域

本公开一般涉及例如在功率有限的环境中使用传感器的系统、方法和设备。

背景技术

在各种情况下，传感器需要以降低的功率消耗操作。因此，需要改进的传感器输入/输出方法和系统。

发明内容

本文所公开的各种具体实施包括在由传感器同步读出多个帧期间缓冲设备存储器中的事件的设备、系统和方法。本文所公开的各种具体实施包括禁用传感器通信链路直到缓冲的事件足以由传感器传输为止的设备、系统和方法。在一些具体实施中，例如，在高数据速率条件期间，使用同步读出的传感器可以绕过设备存储器。在一些具体实施中，使用同步读出的传感器可以基于有多少像素正在检测事件来为一个或多个帧选择读出模式。在一些具体实施中，当小于阈值百分比(例如，20％)的像素正在检测事件时，可以将仅读出发生事件的像素的数据的第一模式与设备存储器一起使用，而当大于阈值百分比的像素正在检测事件时，读出每个像素的数据的第二模式可以绕过设备存储器。在第二模式中，可以读出每个像素较少的数据。在一些具体实施中，灵活的事件编码/读出可以更有效、降低功率、提高图像质量，或者避免传感器的读出电路过载。在一些具体实施中，在由传感器读出帧(或帧的一部分)之前选择读出模式。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性系统的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4是示出根据一些具体实施的事件相机每像素比特数编码与每帧事件数量之间的示例性关系的图。

图5是示出根据一些具体实施的事件相机的稀疏/密集状况的一种示例性检测的框图。

图6是示出根据一些具体实施的事件相机的稀疏/密集状况的另一种示例性检测的框图。

图7是示出根据一些具体实施的事件相机的稀疏/密集行状况的一种示例性检测的框图。

图8是示出根据一些具体实施的事件相机的稀疏/密集帧状况的一种示例性检测的框图。

图9是示出根据一些具体实施的使用低功率同步读出的示例性事件相机的图。

图10是根据一些具体实施的用于事件相机的像素传感器的框图和像素传感器的示例性电路图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

本文所公开的各种具体实施包括在将稀疏事件数据传输到输出链路之前对其进行临时存储，并且在由事件相机执行帧(或帧的一部分)的读出期间直接将密集事件数据传输到输出链路的设备、系统和方法。在一些具体实施中，系统包括像素的矩阵布置，其中这些像素中的每个像素被配置为基于检测到光强度的变化超过在光电检测器处接收的光的阈值来检测事件。在一些具体实施中，事件缓冲器被配置为基于累积标准，从矩阵布置处的像素针对发生的事件累积事件数据，并且传输电路被配置为从事件缓冲器读出事件数据并传输事件数据。在一些具体实施中，传输电路包括在传输之间被禁用的通信链路。在一些具体实施中，传输电路可以基于事件缓冲器由累积的事件数据占用的程度来读出或发送事件数据。在一些具体实施中，传输电路基于累积标准绕过事件缓冲器。在一些具体实施中，累积标准包括来自像素的矩阵布置的一个或多个同步数据帧中的事件数量、事件密度或事件占用百分比。

本文所公开的各种具体实施包括在由事件相机执行帧(或帧的一部分)的同步读出之前检测事件密度的设备、系统和方法。在一些具体实施中，系统包括多行像素的矩阵布置，其中这些像素中的每个像素包括光电检测器和耦接到光电检测器的事件检测器。事件检测器被配置为基于检测到光强度的变化超过在光电检测器处接收的光的变化阈值来检测事件。在一些具体实施中，事件密度检测器被配置为基于从矩阵布置的像素子集接收的输入和密度阈值来确定在该像素子集处检测到的事件的事件密度。然后，读出电路被配置为基于事件密度检测器确定读出模式，并且基于读出模式读出事件数据。

图1是根据一些具体实施的示例性操作环境100的框图。作为非限制性示例，操作环境100包括控制器110和电子设备(例如，膝上型电脑)120，它们中的一者或全部可处于物理布景105中。

在一些具体实施中，控制器110可被配置为检测强度和对比度变化。在一些具体实施中，控制器110包括软件、固件或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理布景105处于本地或远程位置的计算设备。

在一个示例中，控制器110是位于物理布景105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与对应的电子设备120通信地耦接。

在一些具体实施中，控制器110和对应的电子设备(例如，120)被配置为一起检测强度和对比度变化。

在一些具体实施中，电子设备120被配置为检测强度和对比度变化。在一些具体实施中，电子设备120包括软件、固件或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中，对应控制器110的功能由电子设备120提供或与电子设备120组合，例如，在用作独立单元的电子设备的情况下。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)，码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像捕获设备或其他传感器、一个或多个显示器等中的至少一者。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，包括任选的操作系统230和检测模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，检测模块240被配置为例如使用事件相机来检测对比度变化。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为一个非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个面向内部或面向外部的传感器系统314、存储器320，以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器312被配置为向用户呈现内容。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)或者类似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备可包括单个显示器。又如，电子设备可对于用户的每只眼睛包括显示器。

在一些具体实施中，一个或多个面向内部或面向外部的图像传感器系统314包括捕获图像数据的图像捕获设备或阵列(例如，帧相机或事件相机)，或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，包括任选的操作系统330和检测模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，检测模块340被配置为例如使用事件相机来检测对比度变化。此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

事件相机响应于物理设置中的时间对比度变化而生成事件。一般来讲，事件相机读出是异步的，这意味着每当在像素中检测到对比度变化时，该特定像素就可以生成事件，并且事件相机读出提供快速的事件驱动响应。在异步事件相机读出中，异步事件编码包括x和y坐标，以及时间戳。事件通常是稀疏的，因此当与基于帧的图像传感器相比时，事件相机的异步输出数据速率极低。在稀疏事件的这种情况下，异步编码不需要事件相机的高带宽读出。然而，在生成大量事件时，异步事件相机读出可能过载。

在异步事件相机读出中，事件相机的典型像素分组可以包括极性比特(例如，正或负对比度变化)、X和Y像素坐标，以及时间戳。在一些具体实施中，时间戳可以是16比特。在一些具体实施中，X和Y像素坐标可以是9/10比特(例如，对于视频图形阵列(VGA)传感器)。然而，突然的背景光强度变化或快速移动的场景可能导致大量像素被触发，这可能使异步事件相机读出流水线过载。

本文所公开的各种具体实施包括由使用事件相机的同步读出的电子设备来实施的设备、系统和方法。本文所公开的各种具体实施包括由检测事件相机中的多个事件(例如，稀疏或密集)的电子设备来实施的设备、系统和方法。本文所公开的各种具体实施包括基于事件相机中的检测到的事件数目(例如，密集行信号或密集帧信号)来改变帧(或帧的一部分)的同步读出的设备、系统和方法。在一些具体实施中，在由事件相机执行帧(或帧的一部分)的同步读出之前生成密集行信号或密集帧信号。在一些具体实施中，事件相机基于在从像素阵列读出之前由像素阵列生成的密集/稀疏控制信号(例如，行或帧)，以第一读出模式或第二读出模式操作。

在各种具体实施中，事件相机包括能够检测事件(例如，对比度变化)的多个像素(例如，像素矩阵)。

在一些具体实施中，事件相机能够以同步光栅模式读出，这类似于传统的滚动快门相机，其中每帧一次地相继扫描每一行。在采用同步模式的一些具体实施中，时间戳可以作为帧标头每帧传输一次，行号可以被编码为读取行标头，并且像素编码可以包括极性比特和X坐标(例如，1比特+10比特＝11比特)。在这种情况下，仅传输发生事件的像素。

在一些具体实施中，事件相机能够以同步原始光栅模式读出，其中每个像素用2个比特编码(例如，正事件、负事件或无事件)。

在一些具体实施中，同步读出模式和同步原始光栅读出模式可以用于读出事件相机的一部分。因此，读出模式可以用于事件相机中的像素阵列的每一行、每一帧或任何子集。

在一些具体实施中，可以使用各种已知技术在事件相机读出模式下对数据进行压缩(例如，11比特分组或2比特分组)。另外，在一些具体实施中，在读出模式下分组的比特大小可以改变。

图4是示出根据一些具体实施的事件相机每像素比特数编码与每帧事件数量之间的示例性关系的图。在一些具体实施中，可以针对事件相机评估或平衡每像素比特数编码与用于分组读出的每帧事件数量之间的折衷。在一些具体实施中，较高每像素比特数编码(例如，每像素11比特编码)对于低于阈值的事件占用率是有效的，并且较低每像素比特数编码(例如，每像素2比特编码)对于高于阈值的事件占用率更有效。在一些具体实施中，基于编码比特大小、像素阵列大小、读出电路、事件相机输出电路系统等来设置阈值。在一些具体实施中，每像素11比特编码对于低于20％的事件占用率(例如，少于20％的像素为每个帧生成一个事件)是有效的，并且每像素2比特编码用于高于20％的事件占用率(例如，参见图4)。在一些具体实施中，使用两个或更多个阈值使得每像素比特数编码能够可变地使用三个或更多个不同的编码(例如，每像素不同的比特数或数据)。

在各种具体实施中，事件相机传感器被启用以确定传入数据是密集的还是稀疏的(例如，相对于预设阈值)。在一些具体实施中，事件相机包括控制信号，该控制信号指示在事件相机的读出开始之前，传入数据帧是稀疏的还是密集的。在一些具体实施中，事件相机包括控制逻辑部件或控制电路系统，其被配置为在事件相机的读出开始之前确定传入数据帧是稀疏的还是密集的。在一些具体实施中，控制信号或控制逻辑部件驱动事件相机决定以较高比特编码(例如，极性、X坐标；11bpp)或较低比特编码(例如，正事件、负事件或无事件；2bpp)传输信息分组。在一些具体实施中，控制信号或控制逻辑部件能够逐帧、逐行或基于事件相机像素阵列的任何子集来检测稀疏事件或密集事件。

图5是示出根据一些具体实施的事件相机的稀疏/密集状况的一种示例性检测的框图。如图5所示，事件相机500包括像素阵列510，该像素阵列包括多个像素520a、520b、……、520n。在一些具体实施中，多个像素520a、520b、……、520n中的每个像素包括检测器550a、550b、……、550n，所述检测器可以在事件存在于对应像素中时被启用。在一些具体实施中，一个检测器用于两个或更多个像素(例如，检测器550a与像素520a和520b一起使用)。然后将帧、行或读出区域中的每个像素的检测与参考进行比较，以确定帧、行或读出区域的稀疏/密集控制信号(S/D旗标)540的值。如图5所示，来自检测器550a、550b、……、550n的对于帧、行或读出区域中的每个像素的检测被组合为输入560，并且由事件密度检测器530与阈值532进行比较，以确定稀疏/密集控制信号(S/D旗标)540。

图6是示出根据一些具体实施的事件相机的稀疏/密集状况的另一种示例性检测的框图。如图6所示，事件相机600包括像素阵列510，该像素阵列包括具有电流源650a、650b、……、650n的多个像素520a、520b、……、520n，所述电流源可以在事件存在于对应像素中时被启用。在一些具体实施中，一个电流源用于两个或更多个像素(例如，电流源650a与像素520a-520d一起使用)。帧、行或读出区域中的像素的电流被组合为电流积分器630的输入660。在一些具体实施中，电流积分器630被复位，然后对输入电流660进行积分达确定的时间量。在一些具体实施中，电流积分器630输出与传入电流成比例的电压634，该电压可以在比较器635中与电压阈值632进行比较，以确定帧、行或读出区域的稀疏/密集控制信号(S/D旗标)540。在一些具体实施中，事件密度检测器630是电流比较器。

图7是示出根据一些具体实施的事件相机的稀疏/密集行状况的一种示例性检测的框图。如图7所示，事件相机700包括事件相机2D像素阵列的一行像素720a、720b、……、720_N，其中电流源I₁、I₂、……I_N在该行中每像素放置一个。在一些具体实施中，每个电流源I₁、I₂、……I_N是单个晶体管开关。

如图7所示，晶体管T2(例如，源极跟随器晶体管)包括耦接到晶体管T1的第二电极的第二电极(例如，漏极)、耦接到电流源像素存储器输出或比较器A1的Vin输入的第一电极(例如，源极)，以及耦接到第二参考电压704(例如，供电电压或更高电压)的栅极。如图7所示，晶体管T1具有耦接到第三参考电压706的第一电极，以及被耦接以接收控制信号以启用(或禁用)由该行像素720a、720b、……、720_N的电流源I₁、I₂、……I_N进行的事件密度检测的栅极。在一些具体实施中，第二参考电压704小于第三第二参考电压706。

在一些具体实施中，当任何特定像素720a、720b、……、720_N发生事件时，对应的电流源I₁、I₂、……I_N(例如，单个晶体管开关)接通，并且电流流过对应的电流源I₁、I₂、……I_N(例如，单个晶体管开关)。如图7所示，该行像素720a、720b、……、720_N中的更多事件为晶体管T2产生更多负载，并且V_IN电位随着该行像素720a、720b、……、720_N中的事件数量增加而下降。当V_IN电位达到阈值电压V_TH时，比较器A1翻转以生成或启用密集行旗标DR。为比较器A1设置阈值电压V_TH，以便在事件相机700的一行中的事件数量达到任意临界数量时翻转。在一些具体实施中，任意临界数量是该行像素720a、720b、……、720_N中10％、20％、30％、40％的占用水平。在一些具体实施中，每个电流源I₁、I₂、……I_N是单个晶体管开关，其具有耦接到接地参考电压的第一电极、耦接到像素存储器输出或像素中的比较器的栅极，以及耦接到比较器A1的Vin输入的第二电极。在一些具体实施中，一个电流源用于两个或更多个像素(例如，电流源I₂与像素720a和720b一起使用)。

图8是示出根据一些具体实施的事件相机的稀疏/密集帧状况的一种示例性检测的框图。如图8所示，事件相机800包括像素阵列810，该像素阵列包括事件相机2D像素阵列的像素820a、820b、……、820n的多个行850₁、850₂、……、850_N，其中可以在事件存在于对应像素中时被启用的电流源I₁、I₂、……I_N在行850₁、850₂、……、850_N中的每个行中每像素放置一个。在一些具体实施中，每个电流源I₁、I₂、……I_N是单个晶体管开关。在一些具体实施中，增加像素阵列810中的事件数量将多个行850₁、850₂、……、850_N中的对应像素中的对应电流源I₁、I₂、……I_N接通。所有启用电流I_n之和流过共栅极配置的负载晶体管T2并且被转换成电压V_IN-F。当V_IN-F电位降至低于阈值电压V_TH-F时，比较器A2翻转，以生成或启用密集帧旗标DF。在一些具体实施中，当像素阵列810中的10％、20％、30％、40％的像素发生事件时，达到阈值电压V_TH-F。如图8所示，根据一些具体实施，晶体管T1的栅极被耦接以接收控制信号，以在由事件相机800执行帧的读出之前启用(或禁用)像素阵列810的帧事件密度检测(例如，通过电流源I₁、I₂、……I_N)。

尽管图7至图8展示了示例性模拟电路，但是例如用于逐行/逐帧读出模式的其他方法或具体实施可以使用数字电路。在一些具体实施中，事件存在比特数可以被求和(例如，在被传输到片外之前)并且与数字阈值进行比较，以确定事件相机像素阵列的任何子集的稀疏/密集状态(例如，DR、DF)。

本文所公开的各种具体实施包括在将稀疏事件数据传输到输出链路之前对其进行临时存储，并且在读出帧(或帧的一部分)期间直接将密集事件数据传输到输出链路的设备、系统和方法。在一些具体实施中，在将事件相机的多个帧的稀疏事件数据传输到输出链路之前对其进行存储。例如，可以在将来自事件相机的40个帧的事件数据在发生单次传输时一起传输之前对其进行存储。在一些具体实施中，系统包括像素的矩阵布置，其中这些像素中的每个像素被配置为基于检测到光强度的变化超过在光电检测器处接收的光的阈值来检测事件。在一些具体实施中，事件缓冲器被配置为基于累积标准，从矩阵布置处的像素针对发生的事件累积事件数据，并且传输电路被配置为从事件缓冲器读出事件数据并传输事件数据。在一些具体实施中，传输电路包括在传输之间被禁用的输出链路。在一些具体实施中，传输电路可以基于事件缓冲器由累积的事件数据占用的程度来读出或发送事件数据。在一些具体实施中，传输电路基于包括在像素的矩阵布置处发生的满足事件密度标准的事件的累积标准而绕过事件缓冲器。在一些具体实施中，在由事件相机读出帧之前，传输电路决定使用或绕过事件缓冲器。在一些具体实施中，事件相机使用一种或多种同步读出模式。在一些具体实施中，传输电路被配置为在第一读出模式中从像素的矩阵布置读出事件数据，并且被配置为在第二读出模式中基于累积标准从事件缓冲器读出事件数据。在一些具体实施中，累积标准包括来自像素的矩阵布置的一个或多个同步数据帧中的事件数量、事件密度或事件占用百分比。

在一些具体实施中，由事件相机捕获的物理环境的时间对比度变化生成对应的事件流。在一些具体实施中，用于事件相机像素阵列的较小像素导致较大的像素阵列，因此导致事件数量增加。在一些具体实施中，具有较小像素的事件相机像素阵列使用同步读出。在一些具体实施中，事件相机像素阵列的同步读出逐行进行。在一些具体实施中，事件相机像素阵列的较小像素生成定时或握手同步，以保持事件的准确读出。在一些具体实施中，为了提高事件检测和输出的准确度，同步读出速度被增加，并且事件相机输出链路必须与增加的读出速度(例如，快速行读出)同步。

然而，事件相机输出链路(例如，980PHY)是功率消耗的重要来源。事件相机输出链路的示例包括低功率显示端口、相机通信链路等。在一些具体实施中，事件相机输出链路功率消耗在如何通过该输出链路(例如，事件相机接口)以降低的或最小的功率消耗进行传输(例如，如何打包发送数据)方面造成了困境。

在一些具体实施中，在来自稀疏事件填充的数据达到给定大小或特定水平之前，稀疏事件被累积或存储(例如，记忆)在事件相机设备中。在一些具体实施中，来自同步读出的稀疏事件被累积或存储在事件相机设备中的存储器(例如，存储缓冲器960)中，直到稀疏事件数据的突发(例如，临时存储在存储缓冲器960中)被传输为止。在一些具体实施中，同步稀疏事件像素编码(例如，稀疏事件数据)包括具有对应于每一行的时间戳(例如，精细时间戳992)的事件的坐标和极性。在一些具体实施中，稀疏事件数据在事件相机像素阵列的同步读出中的累积允许在稀疏事件数据的突发之间禁用事件相机输出链路(例如，传感器链路)，这减少了事件相机的功率消耗。例如，在累积稀疏数据的第一突发(例如，在事件缓冲器960中)被传输之后，输出链路被禁用，直到被启用以传输累积稀疏数据的后续突发或第二突发。

在一些具体实施中，密集事件或高密度事件帧必须作为原始光栅图像(例如，利用2bpp编码942)被传输(例如，不频繁地)，从而绕过事件相机的事件累积(例如，存储缓冲器960)。在一些具体实施中，高密度事件行编码包括附加了y坐标(例如，行号)的每像素2比特原始数据。在一些具体实施中，在事件相机像素阵列读出发生之前，预先确定稀疏事件帧读出或高密度事件帧读出(例如，像素阵列的密集行、帧或子集)。在一些具体实施中，稀疏事件帧读出或高密度事件帧读出是基于同步数据帧中的累积标准(例如，事件数量、事件密度或占用百分比)来确定的(例如，至少参见图4)。密集帧信号(例如，954)或密集行信号(例如，952)可以在数字域或模拟域中生成(参见图5至图8)。

图9是示出根据一些具体实施的使用同步读出的示例性事件相机架构的图。如图9所示，事件相机架构900使用低功率同步读出。在一些具体实施中，事件相机架构900包括存储缓冲器960。在一些具体实施中，在第一同步(例如，稀疏事件)读出模式期间，由像素阵列910检测到的事件累积在存储缓冲器960中。在第一同步读出模式期间，由像素阵列910检测到的事件被编码层940编码，并且通过存储缓冲器960被传输到分组层970和输出链路980(例如，第一路径)。在一些具体实施中，在第一同步(例如，稀疏事件)读出模式期间，由像素阵列910检测到的事件被编码层940编码并且被传输到存储缓冲器960进行临时存储。在一些具体实施中，第一同步读出模式使用极性比特和X坐标(例如，11比特)来编码附加到行(例如，Y坐标)的事件数据。在一些具体实施中，存储缓冲器960存储超级数据帧。在一些具体实施中，超级数据帧不像单数据帧(例如，像素阵列910的所有像素)那样频繁地传输，使得可以关闭输出链路980以节省在存储缓冲器960中累积超级帧时的功率消耗。在一些具体实施中，超级数据帧可以存储来自从像素阵列910输出的多个同步数据帧(例如，稀疏事件数据)的事件。在一些具体实施中，超级数据帧可以存储来自像素阵列910输出的多于10个同步帧、多于20个同步帧、多于100个同步帧的事件(例如，稀疏事件)。在一些具体实施中，由超级数据帧存储在存储缓冲器960中的稀疏事件数据帧的数量基于稀疏事件帧的事件密度。在一些具体实施中，在第一同步读出模式中禁用传输电路(例如，通信链路)，当存储在存储缓冲器960中的事件数据(例如，超级帧)正在使用输出链路980传输或输出时除外。因此，一旦来自事件缓冲器960的累积事件数据从事件相机传输，传输电路就被禁用。在一些具体实施中，传输电路被禁用，直到能够传输存储在存储缓冲器960中的另一组累积事件数据为止。

在一些具体实施中，由像素阵列910捕获的帧具有许多事件(例如，由光强度变化、移动场景、闪烁或其他原因引起)。在一些具体实施中，在第二同步(例如，密集事件、原始光栅图像，2bpp)读出模式期间，由像素阵列910检测到的事件被直接传输到分组层970。在第二同步(例如，密集事件)读出模式期间，由像素阵列910检测到的事件被编码层940编码并且被传输到分组层970(例如，第二路径)。在一些具体实施中，第二同步读出模式用于由像素阵列910捕获的高密度事件帧(例如，大于20％的占用率)。在一些具体实施中，第二同步读出模式使用每像素2比特原始数据。在一些具体实施中，第二同步读出模式使用正事件、负事件或无事件作为每像素2比特编码。在一些具体实施中，在第二同步读出模式中连续地启用传输电路(例如，通信链路)。

在一些具体实施中，使用累积标准来确定使用第一同步读出模式还是第二同步读出模式。在一些具体实施中，在从像素阵列910读出数据帧之前，确定使用第一同步读出模式还是第二同步读出模式。在一些具体实施中，基于由像素阵列910捕获的帧(例如，或帧的一部分)的事件占用率来确定使用第一同步读出模式还是第二同步读出模式。在一些具体实施中，基于由事件密度检测器950输出的密集行(DR)信号952或密集帧(DF)信号954来确定使用第一同步读出模式还是第二同步读出模式(例如，参见图4至图8)。在一些具体实施中，仅在启用密集帧(DF)信号954时才使用第二同步读出模式。在一些具体实施中，基于DR信号952或DF信号954，编码层940在第一读出模式中对事件数据进行编码并将其传输到存储缓冲器960，并且在第二读出模式中对事件数据进行编码并将其直接传输到分组层970。

在一些具体实施中，分组层970将由存储缓冲器960输出的数据(例如，超级帧)或者由编码层940输出的数据(编码)与用于接收设备920的附加信息(例如，密集或稀疏同步数据)封装在一起。在一些具体实施中，分组层970将由存储缓冲器960或编码层输出的数据与帧标头封装在一起。在一些具体实施中，设备920是电子设备，诸如图1至图3的控制器100或电子设备120。

在一些具体实施中，每当像素阵列910输出稀疏事件时，分配精细时间戳992。在一些具体实施中，每当像素阵列910以同步读出模式输出事件时，基于行号分配精细时间戳992。在一些具体实施中，精细时间戳992为16比特、18比特或24比特。

在一些具体实施中，针对每个数据帧，将粗略时间戳994输出到分组层970。在一些具体实施中，每当像素阵列910以第二同步读出模式输出帧时，分配粗略时间戳994。在一些具体实施中，粗略时间戳994为5比特或6比特。

在一些具体实施中，系统包括多行像素的矩阵布置、事件密度检测器和读出电路。这些像素中的每个像素包括光电检测器，以及耦接到光电检测器的事件检测器，该事件检测器被配置为基于检测到光强度的变化超过在光电检测器处接收的光的变化阈值来检测事件。在一些具体实施中，每个像素是动态视觉传感器，其基于由每个像素接收的光的时间对比度变化来检测事件。在一些具体实施中，该事件密度检测器被配置为基于从矩阵布置的像素子集接收的输入和密度阈值来确定在该像素子集处检测到的事件的事件密度。例如，每个事件检测器将信号提供给事件密度检测器，该事件密度检测器确定这些信号的组合是否超过密度阈值，例如，在最后一次读出之后已经接收到事件的像素的行、帧或其他子集中超过20％的像素。然后，读出电路被配置为基于事件密度检测器确定读出模式(例如，低密度或高密度)，并且基于读出模式读出事件数据。在用于低密度事件模式的一个示例中，发送发生像素事件的每个像素的事件数据(例如，每像素11比特)，并且该事件数据仅包括极性和X坐标(例如，但不包括从行号得知的Y坐标)。在用于高密度事件模式的另一个示例中，为每个像素发送事件数据(例如，每像素2比特)，而不管该像素处是否发生过事件，并且该事件数据仅包括正事件、负事件或无事件，因为X坐标和Y坐标是基于按顺序的数据和为每个像素发送数据的事实而得知的。在一些具体实施中，读出电路可以每次读取/发送一个像素数据块(例如，每次一行)，并且因为该行是已知的(例如，根据以行标头编码的行号)或者将一个时间戳用于所述帧，所以为发生事件的每个像素传输的事件数据可以小于原本将已为每个像素传输的事件数据。

图10是根据一些具体实施的用于示例性事件相机的像素传感器或者动态视觉传感器(DVS)的框图，以及像素传感器的示例性电路图。如图10所展示，像素传感器1015可以通过在行和列的2D矩阵1010中布置像素传感器1015而相对于电子设备(例如，图1的电子设备120)在已知位置处设置在事件相机上。在图10的该示例中，像素传感器1015中的每一者与由一个行值和一个列值限定的地址标识符相关联。

图10还示出了适于实施像素传感器1015的电路1020的示例性电路图。在图10的该示例中，电路1020包括光电二极管1021、电阻器1023、电容器1025、电容器1027、开关1029、比较器1031和事件编译器1032。在操作中，在光电二极管1021两端形成电压，该电压与入射在像素传感器上的光的强度成比例。电容器1025与光电二极管1021并行，因此电容器1025两端的电压与光电二极管1021两端的电压相同。

在电路1020中，开关1029插入在电容器1025与电容器1027之间。因此，当开关1029处于闭合位置时，电容器1027两端的电压与电容器1025和光电二极管1021两端的电压相同。当开关1029处于断开位置时，电容器1027两端的电压固定在当开关1029上一次处于闭合位置时电容器1027两端的先前电压。比较器1031接收输入侧的电容器1025和电容器1027两端的电压并且将其进行比较。如果电容器1025两端的电压与电容器1027两端的电压之间的差值超过阈值量(“比较器阈值”)，则指示入射在像素传感器上的光强度的电响应(例如，电压)出现在比较器1031的输出侧上。否则，在比较器1031的输出侧上不存在电响应。

当电响应出现在比较器1031的输出侧上时，开关1029转换到闭合位置，并且事件编译器1032接收该电响应。在接收到电响应时，事件编译器1032生成像素事件并且用指示该电响应的信息(例如，该电响应的值或极性)填充像素事件。在一个具体实施中，事件编译器1032还利用以下中的一者或多者填充像素事件：与像素事件生成的时间点相对应的时间戳信息，以及与生成像素事件的特定像素传感器相对应的地址标识符。

事件相机通常包括多个像素传感器，如像素传感器1015，其各自响应于检测到超过比较阈值的光强度变化而输出像素事件。当聚集时，所述多个像素传感器输出的像素事件形成由事件相机输出的像素事件流。在一些具体实施中，从事件相机输出的像素事件流获得的光强度数据被用于实施各种应用。

本文阐述了许多具体细节以提供对主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践主题。在其他情况下，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施，并非旨在进行限制。如对具体实施的描述中所使用的那样，单数形式的“一个”、“一种”和“该”旨在也涵盖复数形式，除非上下文以其他方式明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种系统，包括：

像素的矩阵布置，所述像素中的每个像素被配置为基于检测到光强度的变化超过在光电检测器处接收的光的阈值来检测事件；

事件缓冲器，所述事件缓冲器被配置为基于累积标准从所述像素的矩阵布置累积用于所检测到的事件的数据；和

传输电路，所述传输电路被配置为从所述事件缓冲器读出事件数据并且传输所述事件数据，其中所述传输电路包括在传输之间被禁用的通信链路。

2.根据权利要求1所述的系统，其中所述事件缓冲器为所述像素的矩阵布置的多个帧累积所检测到的事件。

3.根据权利要求1至2中任一项所述的系统，其中所述累积标准包括事件密度标准，其中所述传输电路基于在所述像素的矩阵布置处发生的所检测到的事件满足事件密度标准而绕过所述事件缓冲器。

4.根据权利要求3所述的系统，其中所述传输电路基于在所述像素的矩阵布置处发生的所检测到的事件满足所述事件密度标准而传输高密度事件帧。

5.根据权利要求3至4中任一项所述的系统，其中对所述事件密度标准的确定是由所述传输电路在读出所述高密度事件帧之前作出的。

6.根据权利要求3至5中任一项所述的系统，其中所述事件密度标准基于所述像素的矩阵布置中的像素子集中的多于10％、20％或30％的像素自紧接前一次对所述像素子集中的所述像素、密集行控制信号或密集帧控制信号的读出以来接收到事件。

7.根据权利要求6所述的系统，其中所述像素子集包括一行像素、多行像素、帧、多行像素的一部分、或者其他像素子集。

8.根据权利要求7所述的系统，还包括：

事件密度检测器，所述事件密度检测器被配置为基于从所述像素子集接收的输入和密度阈值确定在所述矩阵布置处检测到的事件的事件密度，其中所述事件密度检测器包括：

多个密度检测器，每个密度检测器耦接到所述像素子集中的一个或多个像素；和

比较器，所述比较器耦接到所述多个密度检测器，以接收来自所述多个密度检测器的组合输入，其中所述比较器被配置为将来自所述多个检测器的所述组合输入与所述密度阈值进行比较。

9.根据权利要求1至8中任一项所述的系统，其中所述传输电路被配置为在第一读出模式中从所述像素的矩阵布置读出事件数据，并且被配置为在第二读出模式中基于所述累积标准从所述事件缓冲器读出事件数据。

10.根据权利要求9中任一项所述的系统，其中所述传输电路在所述第一读出模式中被配置为读取所述像素的矩阵布置中的每个像素的第一事件数据，并且所述第二读出模式读出所述像素的矩阵布置中的至少一个像素的不同的第二事件数据。

11.根据权利要求9至10中任一项所述的系统，其中所述传输电路在所述第一读出模式中被配置为每次从所述像素的矩阵布置的一行读取所述第一像素数据，以减少所述像素行中的每个像素的数据量，并且其中所述第一事件数据包括每像素2比特，其指示正事件数据、负事件数据或无事件数据。

12.根据权利要求9至10中任一项所述的系统，其中所述传输电路在所述第二读出模式中被配置为每次从所述像素子集的一行读取所述第二像素数据，以减少所述像素行中的每个像素的事件数据量，并且其中所述第二事件数据包括每像素11比特，其指示像素事件的极性以及检测到所述像素事件的所述至少一个像素的X坐标。

13.根据权利要求9至12中的任一项所述的系统，其中所述传输电路被配置为相比所述第二读出模式更多地以所述第一读出模式操作。

14.根据权利要求9至13中任一项所述的系统，其中对事件密度的确定是在所述传输电路以所述第一读出模式或所述第二读出模式操作之前作出的。

15.根据权利要求1至14中任一项所述的系统，其中每个像素是动态视觉传感器，所述动态视觉传感器基于在所述每个像素处接收的所述光的时间对比度变化来检测事件。

16.根据权利要求1至15中任一项所述的系统，其中所述传输电路的所述读出模式被配置为以同步读出模式操作。

17.根据权利要求1至16中任一项所述的系统，其中所述通信链路响应于传输的完成而被禁用，然后响应于满足所述累积标准而被重新启用。

18.根据权利要求1至17中任一项所述的系统，其中所述累积标准包括来自所述像素的矩阵布置的像素子集的数据的一次或多次读出中的事件数量、事件密度或事件占用百分比。

19.一种方法，包括：

在具有处理器的电子设备处：

提供像素的矩阵布置，所述像素中的每个像素被配置为基于检测到光强度的变化超过在光电检测器处接收的光的阈值来检测事件；

在事件缓冲器处，基于累积标准从所述像素的矩阵布置累积用于所检测到的事件的数据；以及

从所述事件缓冲器读取事件数据并且经通信链路传输所述事件数据，其中所述通信链路在传输之间被禁用。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

在具有处理器的电子设备处：

提供像素的矩阵布置，所述像素中的每个像素被配置为基于检测到光强度的变化超过在光电检测器处接收的光的阈值来检测事件；

在事件缓冲器处，基于累积标准从所述像素的矩阵布置累积用于所检测到的事件的数据；以及

从所述事件缓冲器读取事件数据并且经通信链路传输所述事件数据，其中所述通信链路在传输之间被禁用。

Images