CN111149350A

CN111149350A - 使用事件相机生成静态图像

Info

Publication number: CN111149350A
Application number: CN201880062981.9A
Authority: CN
Inventors: A·M·默维朔维奇; A·Y·张
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2017-09-28
Filing date: 2018-06-28
Publication date: 2020-05-12
Anticipated expiration: 2038-06-28
Also published as: WO2019067054A1; US11019273B2; US20200252533A1; CN111149350B; US20210243347A1; KR20220143967A; KR102523510B1; US11770619B2; KR20200041991A

Abstract

根据一些实施方案，在具有处理器和非暂态存储器的图像处理设备处执行一种方法。该方法包括在第一发射持续时间内触发具有作为时间的函数的表征强度的光发射。该方法还包括：对应于第一发射持续时间内的光发射的反射，从事件相机获取相应像素事件，每个相应像素事件对应于越过指示亮度水平的相应比较器阈值，每个相应像素事件通过相应电阈值和越过相应电阈值的时间戳来表征。该方法还包括：通过确定来自相应像素事件的多个亮度估计值来生成静态图像，其中多个亮度估计值分别对应于由事件相机的各部分接收的反射光的量。

Description

使用事件相机生成静态图像

相关申请的交叉引用

本专利申请要求2017年9月28日提交的美国临时专利申请62/564,823的优先权，该专利申请据此全文以引用方式并入本文。

技术领域

本公开整体涉及数字图像处理领域，并且更具体地，涉及利用事件相机生成静态图像。

背景技术

传统相机使用时钟图像传感器从场景采集视觉信息。此类方法在一定的帧率下被时间量化。所记录的每帧数据通常以某种方式进行后期处理。在许多传统相机中，每帧数据都承载来自所有像素的信息。承载来自所有像素的信息常常会导致冗余，而冗余通常随着场景中动态内容的量的增加而增加。随着图像传感器利用更高的空间和/或时间分辨率，帧中包括的数据量将很有可能增加。具有更多数据的帧通常需要容量增大的附加硬件，这会增加复杂性、成本和/或功率消耗。当在电池供电的移动设备处执行后期处理时，对具有显著更多数据的帧进行后期处理所消耗的移动设备电池电量通常要快得多。

发明内容

本公开利用事件相机传感器(下文为简洁起见简称“事件相机”)来生成静态图像。在一些实施方案中，事件相机响应于检测到其视场的变化而生成事件图像数据。在一些实施方案中，事件相机指示各个像素的变化。例如，事件相机的输出包括像素级亮度变化(例如，而非标准强度帧)。在一些实施方案中，事件相机的输出生成是受事件控制的。因此，事件相机响应于检测到其视场的变化而输出数据。例如，事件相机响应于检测到处于事件相机的视场中的场景的变化而输出数据。在一些实施方案中，事件相机包括像素事件传感器，该像素事件传感器检测各个像素的变化，从而允许各个像素自主地操作。不登记其强度变化的像素不产生数据。因此，对应于静态对象(例如，不移动的对象)的像素不会触发像素事件传感器的输出，而对应于可变对象(例如，正在移动的对象)的像素触发像素事件传感器的输出。换句话讲，由像素事件传感器提供的数据流指示对应于移动对象的像素。与响应于检测到均一化表面或无运动背景而输出灰度级信息的传统相机不同，当视场包括均一化表面或无运动背景时，事件相机不产生数据。

本公开提供利用事件相机生成高分辨率静态图像的系统、设备和/或方法。根据一些实施方案，本文所述的系统和方法触发受控光源(例如，闪光灯或频闪闪光灯)以发射光。光的反射由事件相机接收，并且输出带时间戳的像素事件。像素事件被发送至亮度估计器，该亮度估计器通过将带时间戳的像素事件拟合到对应于受控光源的表征的曲线来生成多个亮度估计值。然后通过布置多个亮度估计值来形成静态图像。因此，根据本文所述的实施方案的系统和方法有效地增加了由事件相机产生的静态图像的分辨率。

根据一些实施方案，一种设备包括闪光灯控制器、事件相机和图像处理器。闪光灯控制器可连接到可控光源，以向可控光源提供控制信号，从而驱动可控光源在第一发射持续时间内根据控制信号来发射光。事件相机具有多个像素元件，该多个像素元件被布置成接收由可控光源在第一发射持续时间内发射的光的反射。在一些实施方案中，多个像素元件中的每一个响应于越过指示亮度水平的比较器阈值而输出相应像素事件。在一些实施方案中，每个事件通过相应电阈值和越过相应电阈值的时间戳来表征。然后，图像处理器通过从事件相机接收的相应像素事件生成静态图像。在一些实施方案中，图像处理器包括亮度估计器以从相应像素事件生成多个亮度估计值，其中相应像素事件分别对应于由对应的多个像素元件接收的反射光的量，并且静态图像包括多个亮度估计值的对应布置。

根据一些实施方案，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。该一个或多个程序被存储于非暂态存储器中并且可由一个或多个处理器执行。一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的操作的指令。根据一些实施方案，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时，使设备执行或使得执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种设备包括用于执行或使得执行本文所述的方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。

图1是示出根据一些实施方案的示例电子设备的框图。

图2是根据一些实施方案的事件相机传感器的框图和事件相机传感器的示例电路图。

图3是示出根据一些实施方案的利用事件相机生成图像的流程图。

图4是示出根据一些实施方案的生成静态图像的方法的流程图。

图5是示出根据一些实施方案的针对静态图像导出亮度估计值的方法的流程图。

图6示出了根据一些实施方案，响应于通过阶跃函数来表征的闪光事件的示例性亮度估计曲线。

图7示出了根据一些实施方案，响应于通过斜坡函数来表征的闪光事件的示例性亮度估计曲线。

图8是示出根据一些实施方案的示例多功能设备的框图。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

参考图1，其示出了根据一些实施方案的示例电子设备100的框图。在一些实施方案中，电子设备100是多功能设备的一部分，多功能设备是诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备或包括图像处理设备的任何其他电子设备。尽管图1中未示出，但在一些实施方案中，电子设备100通过网络连接到其他设备，诸如其他移动设备、平板设备、台式设备以及网络存储设备，包括服务器等。

在一些实施方案中，电子设备100包括中央处理单元(CPU)130和设备传感器175(例如，接近传感器/环境光传感器/加速度计和/或陀螺仪等)。根据一些实施方案，处理器130是片上系统，诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。此外，在一些实施方案中，处理器130包括相同类型或不同类型的多个处理器。

在一些实施方案中，电子设备100包括存储器140。存储器140包括用于结合处理器130执行设备功能的一种或多种类型的存储器。在一些实施方案中，存储器140包括高速缓存、ROM和/或RAM。在一些实施方案中，存储器140在执行期间存储各种编程模块。在一些实施方案中，存储器140充当用于在内嵌图像处理期间存储一个或多个图像的缓冲器142。在一些实施方案中，存储器140存储可由CPU 130执行的计算机可读指令。

在一些实施方案中，电子设备100包括一个或多个相机，其包括事件相机(例如，事件相机传感器110，例如像素传感器或像素元件)。如图2所示，在一些实施方案中，事件相机传感器110分布在事件相机的可操作区域中。如本文所述，在一些实施方案中，事件相机传感器110识别给定像素处的亮度(例如，强度)变化，并且在识别出亮度变化时记录事件。

在一些实施方案中，电子设备100包括闪光灯控制器150。闪光灯控制器150向可控光源160提供控制信号，以便驱动可控光源160发射光。如虚线所示，在一些实施方案中，可控光源160在电子设备100的内部(例如，可控光源160是电子设备100的一部分)。在一些实施方案中，可控光源160在电子设备100的外部(例如，可控光源160在电子设备100之外)。在一些实施方案中，可控光源160耦接到闪光灯控制器150或为电子设备100的组成部分。在一些实施方案中，可控光源160在电子设备100的外部并且可连接到闪光灯控制器150(例如，可控光源160滑动到电子设备100中以经由有线连接或以无线方式连接到电子设备100)。在一些实施方案中，可控光源160包括控制节点162，该控制节点接收由闪光灯控制器150提供的控制信号并且驱动可控光源160根据控制信号发射光。

在一些实施方案中，电子设备100包括像素亮度估计器120。像素亮度估计器120基于由事件相机传感器110输出的像素事件计算亮度估计值，并且使用亮度估计值来合成静态图像。在一些实施方案中，合成的静态图像然后被存储在图像缓冲器142中。

图2是根据一些实施方案的事件相机传感器110的框图和示例事件相机传感器110的示例电路图。如图2所示，在一些实施方案中，事件相机传感器110被布置成二维阵列并且分布在事件相机的可操作区域中。在图2的示例中，每个事件相机传感器110具有作为地址标识符的二维坐标(X,Y)。在一些实施方案中，事件相机传感器110中的每一者为集成电路。

图2示出了用于事件相机传感器110(例如，像素元件)的电路112(例如，集成电路)的示例电路图。在图2的示例中，电路112包括各种电路元件，其包括光电二极管1a、电容器C1和C2、栅极G、比较器1b和事件记录器1c(例如，时间机器)。在一些实施方案中，光电二极管1a响应于检测到像素处的光强度的阈值变化而生成光电流。在一些实施方案中，光电二极管1a被集成到电容器C1中。当栅极G闭合时，电流开始流动，并且电容器C1开始积聚电荷。在一些实施方案中，比较器1b将C1中的电压与电容器C2中的先前电压进行比较。如果比较结果满足比较器阈值，则比较器1b向事件记录器1c输出电响应。在一些实施方案中，电响应为电压。在此类实施方案中，电响应的电压指示反射光的亮度。在一些实施方案中，事件记录器1c将每个输出标记为具有事件时间戳的事件。因此，检测每个像素元件处的光电二极管照明的变化并将该变化输出为事件，并且记录与事件相关联的时间戳。

图3示出了根据一些实施方案，使用电子设备100生成静态图像的流程图。在一些实施方案中，该过程开始于电子设备100的闪光灯控制器150向可控光源160(例如，闪光灯或频闪闪光灯)提供控制信号152。在一些实施方案中，可控光源160响应于接收到控制信号152而发射光164(例如，光线)。如图3所示，光线照射到被摄体302上并照亮包含被摄体302的场景。在一些实施方案中，由事件相机传感器110检测反射光166(例如，由被摄体302反射的光164的一部分)，并且生成事件(例如，如本文参考图2所述)。事件时间记录器312(例如，图2中所示的事件记录器1c)生成(例如，标记)带时间戳的事件314，并且将带时间戳的事件314作为输入提供给像素亮度估计器120。像素亮度估计器120还从闪光灯控制器150接收输入154，该输入描述对控制信号152实现光发射的表征，例如光爆发时作为阶跃函数，或者闪光强度增大时作为斜坡函数。基于输入154，像素亮度估计器120确定亮度估计值。在一些实施方案中，像素亮度估计器120利用曲线拟合过程(例如，如本文参考图4-图5所述)来确定亮度估计值。在一些实施方案中，电子设备100基于亮度估计值合成静态图像。在一些实施方案中，电子设备100将合成的静态图像存储在存储器140中(例如，作为存储器140的图像缓冲器142中的图像数据1、图像数据2……图像数据N)。

图4是示出根据一些实施方案的生成静态图像的方法400的流程图。在一些实施方案中，方法400在具有处理器(例如，图1中所示的处理器130)和非暂态存储器(例如，图1和图3中所示的存储器140)的图像处理设备(例如，图1和图3中所示的电子设备100)处执行。在一些实施方案中，图像处理设备还包括可连接到可控光源(例如，图1和图3中所示的可控光源160)的闪光灯控制器(例如，图1和图3中所示的闪光灯控制器150)。如本文所述，在一些实施方案中，闪光灯控制器向可控光源提供控制信号(例如，图3中所示的控制信号152)，以便驱动可控光源根据控制信号在第一发射持续时间内发射光(例如，图3中所示的光164)。在一些实施方案中，图像处理设备还包括事件相机，该事件相机具有分布在第一区域(例如，图2中所示的阴影区域内的可操作区域，或事件相机的可操作区域的子部分)中的多个像素元件(例如，图1-图3中所示的事件相机传感器110)，该多个像素元件被布置成接收光的反射。

在一些实施方案中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方案中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码(例如，计算机可读指令)的处理器执行。

如框410所示，在一些实施方案中，方法400包括在第一发射持续时间内触发具有作为时间的函数的表征强度的光发射。如框412所示，在一些实施方案中，方法400包括通过触发闪光灯控制器(例如，图1和图3中所示的闪光灯控制器150)以生成控制信号(例如，图3中所示的控制信号152)来触发光发射，以便在第一发射持续时间内实现光发射(例如，图3中所示的光164)。如框414所示，在一些实施方案中，方法400包括将控制信号耦合到可控光源的控制节点(例如，将控制信号152耦合到图3中所示的可控光源160的控制节点162)。例如，如本文(例如，结合图3)所述，闪光灯控制器150生成控制信号152并将控制信号152耦合到可控光源160的控制节点162，以触发光发射(例如，光164)。在一些实施方案中，作为时间的函数的光发射的表征强度在某个时间段内是阶跃函数(例如，图6中所示的阶跃)。在一些实施方案中，作为时间的函数的光发射的表征强度为斜坡函数，例如，光强度随时间而增大，如图7所示。

如框420所示，在一些实施方案中，方法400包括对应于第一发射持续时间内的光发射的反射，获取相应像素事件(例如，获取图3中所示的事件314)。在一些实施方案中，方法400包括从事件相机获取像素事件(例如，从图3中所示的事件时间记录器312和/或事件相机传感器110获取像素事件)。在一些实施方案中，每个相应像素事件对应于越过指示亮度水平的相应比较器阈值。在一些实施方案中，每个相应像素事件由相应电阈值和越过相应电阈值的时间戳来表征。

如框422所示，在一些实施方案中，比较器阈值是可调的。例如，在一些实施方案中，比较器阈值由操作者(例如，人类操作者)手动调节。在一些实施方案中，比较器阈值由程序(例如，由处理器执行的计算机可读指令)以编程方式调节(例如，自动调节)。因此，在一些实施方案中，比较器阈值在事件之间有所变化。在一些实施方案中，比较器阈值是固定的(例如，保持恒定)。例如，参考图6，比较器阈值2表示电阈值水平值th₁和th₂之间的差值，与比较器阈值3相同，比较器阈值3表示电阈值等级值th₂和th₃之间的差值。在图6的示例中，比较器阈值4表示电阈值水平值th₂和th₃之间的差值，与比较器阈值3和比较器阈值2不同。

如框424所示，在一些实施方案中，方法400包括从分布在事件相机的可操作区域(例如，如图2所示)中的多个像素元件获取相应像素事件，该多个像素元件被布置成接收发射光的反射(例如，如图3所示)。在一些实施方案中，获取相应像素事件包括从事件相机的可操作区域的子部分获取相应像素事件。

如框430所示，在一些实施方案中，方法400包括通过确定来自相应像素事件的多个亮度估计值来生成静态图像。在一些实施方案中，亮度估计值分别对应于由事件相机的各部分接收的反射光的量。如框432所示，在一些实施方案中，方法400包括通过对像素事件进行曲线拟合来确定亮度估计值，并且基于所拟合的曲线来估计指示反射光的亮度的电压。图5示出了曲线拟合过程的示例。在一些实施方案中，曲线关联光发射的表征强度(例如，如图6和图7中所示)。

如框440所示，在一些实施方案中，方法400包括将静态图像存储在存储器中(例如，在图3中所示的存储器140的图像缓冲器142中存储图像，例如，存储图像数据1、图像数据2……图像数据N)。

图5是示出根据一些实施方案的曲线拟合像素事件以便导出亮度估计值的方法500的流程图。在一些实施方案中，方法500在具有处理器(例如，图1中所示的处理器130)和非暂态存储器(例如，图1中所示的存储器140)的图像处理设备(例如，图1和图3中所示的电子设备100)处执行。在一些实施方案中，图像处理设备还包括可连接到可控光源(例如，图1和图3中所示的可控光源160)的闪光灯控制器(例如，图1和图3中所示的闪光灯控制器150)。在一些实施方案中，闪光灯控制器向可控光源提供控制信号(例如，图3中所示的控制信号152)，以便驱动可控光源根据控制信号在第一发射持续时间内发射光。在一些实施方案中，图像处理设备还包括事件相机，该事件相机具有分布在第一区域(例如，图2中所示的阴影区域内的可操作区域，或事件相机的可操作区域的子部分)中的多个像素元件(例如，图1-图3中所示的事件相机传感器110)，该多个像素元件被布置成接收光的反射。

在一些实施方案中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方案中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码(例如，计算机可读指令)的处理器执行。

如框510所示，在一些实施方案中，方法500包括将控制信号(例如，图3中所示的控制信号152)发送至可控光源(例如，图1和图3中所示的可控光源160)以在第一发射持续时间内触发具有作为时间的函数的表征强度的光发射(例如，图3中所示的光164)。在一些实施方案中，根据一些实施方案，作为时间的函数的光发射的表征强度在某个时间段内是阶跃函数或斜坡函数。

如框520所示，在一些实施方案中，方法500包括触发时间记录和发送表征强度以进行亮度估计。例如，闪光灯控制器150指示事件记录器1c(图2)开始记录时间并将光发射的表征强度(例如，阶跃函数或斜坡函数)发送到像素亮度估计器120，如图3所示。

如框530所示，在一些实施方案中，方法500包括标记由事件相机输出的事件。如本文所述，在一些实施方案中，事件相机包括被布置成接收来自第一发射持续时间内的光发射的光反射的像素元件。如本文所述，在一些实施方案中，在越过比较器阈值时生成事件。根据一些实施方案，事件通过越过阈值时的相应电压、越过阈值时的时间戳(例如，由图2中所示的事件记录器1c添加)和像素元件的位置(例如，如图2中所示的二维像素阵列中的x坐标和y坐标)来表征。

参考图6，当电路中的电压越过比较器阈值1时，生成事件610、620和630。事件610由对应于亮像素的位置(X₁,Y₁)处的像素元件(下文称为“亮像素元件)检测，事件620由对应于暗像素的位置(X₂,Y₂)处的像素元件(下文称为“暗像素元件)检测，并且事件630由对应于更暗像素的位置(X₃,Y₃)处的像素元件(下文称为“更暗像素元件)检测。在越过阈值时，例如，t₁、t₁-Dark和t₁-Darker，电阈值为th₁。在一些实施方案中，事件610、620和630由以下数据表示：

{(t₁,(X₁,Y₁),th₁)、

(t₂,(X₂,Y₂),th₂)、

(t₃,(X₃,Y₃),th₃)}。

如图6所示，相对于亮像素元件，暗像素元件电路积聚电荷以越过比较器阈值1需要更长的时间。同样，更暗像素元件电路积聚电荷以越过比较器阈值1需要更长的时间，即，t₁<t₁-Dark<t₁-Darker。

重新参考图5，如框540所示，在一些实施方案中，基于控制信号的表征强度，方法500包括针对目标像素元件(例如，理想像素元件)在第一发射持续时间内导出目标事件曲线(例如，理想事件曲线)。如本文所用，目标像素元件捕获大部分光反射。目标事件曲线表示目标像素元件作为时间的函数响应于光而输出的电平。如框550所示，在一些实施方案中，方法500包括通过将一个或多个相应像素事件与类似形状的曲线拟合，为第一发射持续时间内的标记的事件生成相似形状的事件曲线。如框560所示，在一些实施方案中，方法500包括基于事件曲线来确定亮度估计值(例如，从事件曲线导出亮度估计值)。如框570所示，在一些实施方案中，方法500包括合成(例如，生成，例如产生)包括亮度估计值的对应布置的静态图像。

例如，在图6中，当光突发时，在像素元件的电路(例如，图2中所示的电路112)中，电容器C1开始积聚电荷，并且来自电容器C1的电压测量值增大。在一些实施方案中，电容器两端的瞬时电压相对于时间是函数

其中t是自电路电压变化以来已经过的时间，τ是电路的时间常数。在一些实施方案中，方法500包括基于作为时间的函数的电容器两端的瞬时电压，生成目标事件曲线(例如，理想事件曲线)。

在一些实施方案中，方法500包括基于目标事件曲线生成其他事件曲线。在一些实施方案中，其他事件曲线具有形状类似于目标事件曲线的形状，例如，作为函数

在一些实施方案中，方法500包括通过拟合表示由像素元素检测到的事件的一个或多个数据点来生成像素元素的事件曲线。例如，在图6中，通过拟合表示函数

的曲线上的数据点(t₁,(X₁,Y₁),th₁)来生成亮像素元件的曲线。类似地，根据函数

)并通过分别拟合数据点(t₂,(X₂,Y₂),th₂)和(t₃,(X₃,Y₃),th₃)来生成暗像素元件和更暗像素元件的曲线。

在一些实施方案中，多于一个比较器阈值被越过，并且多于一个事件被拟合在曲线上，以改善信噪比。例如，在图6中，对应于亮像素元件的曲线指示比较器阈值被越过四次。换句话讲，在时间t₁检测到事件610之后，亮像素元件还在时间t₂检测到事件612，在时间t₃检测到事件614，在时间t₄检测到事件616。在一些实施方案中，四个事件(例如，事件610、612、614和616)被拟合在亮像素元件曲线上，以改善信噪比。

在一些实施方案中，方法500包括在生成像素元件的曲线之后，估计每个曲线的渐近极限(例如，稳态电压)。在一些实施方案中，对于目标像素元件，稳态电压与光发射电压大致相同，这表明目标像素元件检测到增加的反射光的量B_M(例如，最大光量)。对于亮像素元件，曲线下降到理想曲线以下。这样一来，在一些实施方案中，亮像素元件曲线的渐近极限低于理想曲线的渐近极限，这表明在位置(X₁,Y₁)处检测到反射光的更小亮度B_bright。同样，暗像素元件曲线和更暗像素元件曲线的更低渐近极限指示：位置(X₃,Y₃)处的B_darker<位置(X₂,Y₂)处的B_dark<位置(X₁,Y₁)处的B_bright。在图6的示例中，基于位置(X₁,Y₁)处的B_bright、位置处(X₂,Y₂)处的B_dark和位置(X₃,Y₃)处的B_darker的对应布置，生成静态图像。

图6的示例示出了根据一些实施方案，被表征为阶跃函数的对光发射的电响应。在一些实施方案中，光发射的表征强度为斜坡函数，例如，光强度随时间而增大。在此类实施方案中，设备基于与事件相机的相应像素元件相关联的一个或多个相应像素事件的函数，在阈值精度标准内拟合跟踪斜坡函数的相应曲线，并且基于相应的曲线来合成多个亮度估计值的相应亮度估计值。

图7示出了对应于闪光事件(例如，光发射)的闪光事件线700，该闪光事件表示光强度随时间而增大。亮像素元件和暗像素元件的曲线702和704分别在阈值距离内跟踪闪光事件线700。在一些实施方案中，如上文结合图6所述，通过将表示事件的数据点拟合到曲线702和704，例如，通过将表示一个或多个事件710-716的数据点拟合到表示亮像素元件的曲线702来生成曲线702和704。在一些实施方案中，从曲线702估计亮度估计值，例如，作为时间的函数导出亮度值B₁、B₂、B₃和B₄。

现在参考图8，其示出了根据一些实施方案的示例多功能设备800的功能框图。在一些实施方案中，多功能电子设备800包括处理器805、显示器810、用户界面815、图形硬件820、设备传感器825(例如，接近传感器/环境光传感器、加速度计和/或陀螺仪)、麦克风830、音频编解码器835、扬声器840、通信电路845、数字图像捕获电路850(例如，包括相机系统100)、视频编解码器855(例如，由数字图像捕获单元850支持)、存储器860、存储设备865和通信总线870。在一些实施方案中，多功能电子设备800是数字相机或个人电子设备，诸如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。在一些实施方案中，多功能电子设备800代表图1和图3中所示的电子设备100。在一些实施方案中，多功能电子设备800执行本文所述的操作和/或方法(例如，多功能电子设备800执行图4中所示的方法400和/或图5中所示的方法500)。

在一些实施方案中，处理器805执行必要的指令以实施或控制由设备800执行的很多功能的操作(例如，如本文所公开的图像的生成和/或处理)。例如，处理器805驱动显示器810并从用户界面815接收用户输入。在一些实施方案中，用户界面815允许用户与设备800交互。例如，用户界面815可包括按钮、小键盘、拨号盘、点击式触摸转盘、键盘、显示屏和/或触摸屏。在一些实施方案中，处理器805包括片上系统，诸如存在于移动设备中的那些，并且包括专用图形处理单元(GPU)。在一些实施方案中，处理器805基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理核心。在一些实施方案中，图形硬件820是用于处理图形和/或辅助处理器805处理图形信息的专用计算硬件。在一些实施方案中，图形硬件820包括可编程GPU。

在一些实施方案中，通过透镜854，图像捕获电路850使用传感器(或像素传感器，或传感器元件，或像素元件)852来捕获图像和/或事件。至少部分地通过以下设备处理来自图像捕获电路850的输出：一个或多个视频编解码器865，和/或处理器805，和/或图形硬件820，和/或结合在电路865之内的专用图像处理单元或流水线。由此捕获的图像被存储在存储器860和/或存储装置855中。在一些实施方案中，图像捕获电路850和/或传感器852包括一个或多个事件相机传感器(例如，图1-图3中所示的事件相机传感器110)。

在一些实施方案中，根据本文公开的方法，至少部分地通过以下设备处理由传感器852和相机电路850捕获的图像：一个或多个视频编解码器855，和/或处理器805，和/或图形硬件820，和/或结合在电路850之内的专用图像处理单元。由此捕获和/或处理的图像被存储在存储器860和/或存储装置865中。存储器860包括由处理器805和图形硬件820用于执行设备功能的一个或多个不同类型的介质。例如，存储器860包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。在一些实施方案中，存储装置865存储媒体(例如，音频、图像，诸如基于事件相机所提供的数据由多功能电子设备800生成的静态图像，以及视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。在一些实施方案中，存储装置865包括一个或多个非暂态存储介质，包括例如磁盘(固定盘、软盘和可移除盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))，以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。在一些实施方案中，存储器860和存储装置865用于有形地保持组织成一个或多个模块并以任何所需的计算机编程语言写成的计算机程序指令或代码。例如，在由处理器805执行时，此类计算机程序代码实现本文所述的方法中的一种或多种。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims

1.一种设备，所述设备包括：

闪光灯控制器，所述闪光灯控制器能够连接到可控光源，以向所述可控光源提供控制信号，以便驱动所述可控光源在第一发射持续时间期间根据所述控制信号发射光；

事件相机，所述事件相机具有被布置成接收由所述可控光源在所述第一发射持续时间期间发射的所述光的反射的多个像素元件，所述多个像素元件中的每个像素元件响应于越过指示亮度水平的相应比较器阈值而输出相应像素事件，每个像素事件通过相应电阈值和越过所述相应电阈值的时间戳来表征；和

图像处理器，所述图像处理器用于从所述相应像素事件生成静态图像，所述图像处理器包括亮度估计器以从所述相应像素事件生成多个亮度估计值，其中所述多个亮度估计值分别对应于由对应的所述多个像素元件接收的反射光的量，并且所述静态图像包括所述多个亮度估计值的布置。

2.根据权利要求1所述的设备，还包括可控光源，所述可控光源具有耦接到所述闪光灯控制器以接收所述控制信号的控制节点。

3.根据权利要求1-2中任一项所述的设备，其中所述闪光灯控制器生成所述控制信号以便在所述第一发射持续时间期间的所述光发射中实现阶跃函数。

4.根据权利要求3所述的设备，其中所述亮度估计器将所述多个亮度估计值的相应亮度估计值生成为曲线的渐近极限，所述曲线通过与所述多个像素元件中的特定像素元件相关联的一个或多个相应像素事件来估计。

5.根据权利要求1-2中任一项所述的设备，其中所述闪光灯控制器生成所述控制信号以便在所述第一发射持续时间期间的所述光发射中实现斜坡函数。

6.根据权利要求5所述的设备，其中所述亮度估计器生成亮度估计值，所述亮度估计值基于与所述多个像素元件中的特定像素元件相关联的一个或多个相应像素事件的函数在阈值精度标准内拟合跟踪所述斜坡函数的曲线。

7.根据权利要求1-6中任一项所述的设备，其中对于相应像素元件，所述亮度估计器通过将所述相应像素事件拟合到表征所述相应像素元件对照明的电响应的代表性曲线来估计指示由所述相应像素元件接收的反射光的亮度的电压。

8.根据权利要求1-7中任一项所述的设备，其中所述多个像素元件中的特定像素元件的所述相应比较器阈值是可编程的。

9.根据权利要求1-8中任一项所述的设备，其中所述多个像素元件被布置成二维阵列。

10.根据权利要求1-9中任一项所述的设备，还包括用于存储所述静态图像的存储器。

11.一种方法，包括：

在具有处理器和非暂态存储器的图像处理设备处：

在第一发射持续时间期间触发具有作为时间的函数的表征强度的光发射；

对应于所述第一发射持续时间期间的所述光发射的反射，从事件相机获取相应像素事件，每个相应像素事件对应于越过指示亮度水平的相应比较器阈值，每个相应像素事件通过相应电阈值和越过所述相应电阈值的时间戳来表征；以及

通过从所述相应像素事件确定多个亮度估计值来生成静态图像，其中所述多个亮度估计值分别对应于由所述事件相机的各部分接收的反射光的量。

12.根据权利要求11所述的方法，其中在所述第一发射持续时间期间触发所述光发射包括触发闪光灯控制器以生成控制信号，以便在所述第一发射持续时间期间实现所述光发射。

13.根据权利要求12所述的方法，还包括将所述控制信号耦合到所述可控光源的控制节点。

14.根据权利要求11-13中任一项所述的方法，其中所述光发射的所述表征强度为阶跃函数。

15.根据权利要求14所述的方法，其中从所述相应像素事件确定所述多个亮度估计值包括将所述多个亮度估计值的相应亮度估计值生成为曲线的渐近极限，所述曲线通过与所述事件相机的相应像素元件相关联的一个或多个相应像素事件来估计。

16.根据权利要求11-13中任一项所述的方法，其中所述光发射的所述表征强度为斜坡函数。

17.根据权利要求16所述的方法，其中从所述相应像素事件确定所述多个亮度估计值包括：

基于与所述事件相机的相应像素元件相关联的一个或多个相应像素事件的函数，在阈值精度标准内拟合跟踪所述斜坡函数的相应曲线；以及

基于所述相应曲线来合成所述多个亮度估计值的相应亮度估计值。

18.根据权利要求11-17中任一项所述的方法，其中从所述相应像素事件确定所述多个亮度估计值包括，对于相应像素元件：

将一个或多个相应像素事件拟合到表征所述相应像素元件的电响应的代表性曲线；以及

基于所述代表性曲线来估计指示反射光的亮度的电压。

19.根据权利要求11-18中任一项所述的方法，其中所述多个像素元件中的特定像素元件的所述相应比较器阈值是可编程的。

20.根据权利要求11-19中任一项所述的方法，还包括将所述静态图像存储在所述非暂态存储器中。

21.根据权利要求11-20中任一项所述的方法，其中对应于所述发射光的所述反射，从所述事件相机获取所述相应像素事件包括从分布在所述事件相机的可操作区域上的多个像素元件获取所述相应像素事件，所述多个像素元件被布置成接收所述发射光的所述反射。

22.一种在其中存储指令的非暂态计算机可读存储介质，所述指令当由图像处理设备的一个或多个处理器执行时，使得所述图像处理设备：

23.根据权利要求22所述的非暂态计算机可读存储介质，其中在所述第一发射持续时间期间触发所述光发射包括触发闪光灯控制器以生成控制信号，以便在所述第一发射持续时间期间实现所述光发射。

24.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备将所述控制信号耦合到所述可控光源的控制节点。

25.根据权利要求22-24中任一项所述的非暂态计算机可读存储介质，其中所述光发射的所述表征强度为阶跃函数。

26.根据权利要求25所述的非暂态计算机可读存储介质，其中从所述相应像素事件确定所述多个亮度估计值包括将所述多个亮度估计值的相应亮度估计值生成为曲线的渐近极限，所述曲线通过与所述事件相机的相应像素元件相关联的一个或多个相应像素事件来估计。

27.根据权利要求22-24中任一项所述的非暂态计算机可读存储介质，其中所述光发射的所述表征强度为斜坡函数。

28.根据权利要求27所述的非暂态计算机可读存储介质，其中从所述相应像素事件确定所述多个亮度估计值包括：

29.根据权利要求22-28中任一项所述的非暂态计算机可读存储介质，其中从所述相应像素事件确定所述多个亮度估计值包括，对于相应像素元件：

基于所述代表性曲线来估计指示反射光的亮度的电压。

30.根据权利要求22-29中任一项所述的非暂态计算机可读存储介质，其中所述多个像素元件中的特定像素元件的所述相应比较器阈值是可编程的。

31.根据权利要求22-30中任一项所述的非暂态计算机可读存储介质，其中所述指令还使得所述图像处理设备将所述静态图像存储在所述非暂态存储器中。

32.根据权利要求22-31中任一项所述的非暂态计算机可读存储介质，其中对应于所述发射光的所述反射，从所述事件相机获取所述相应像素事件包括从分布在所述事件相机的可操作区域上的多个像素元件获取所述相应像素事件，所述多个像素元件被布置成接收所述发射光的所述反射。