CN112449130A - 具有闪烁分析电路的事件传感器 - Google Patents

Abstract

本发明题为“具有闪烁分析电路的事件传感器”。本发明公开了一种成像系统，该成像系统可包括具有事件传感器像素的事件传感器。该事件传感器像素可被配置为如果像素处的光强度改变则触发“事件”。脉冲宽度调制的发光二极管(LED)照明可导致来自事件传感器的该图像在帧之间起伏。当检测到事件时，这可能导致误报(因为即使场景对于人类观看者保持不变，LED闪烁也触发事件传感器的事件)。因此，该成像系统可包括闪烁分析电路，该闪烁分析电路被配置为从事件传感器像素接收光强度信号。基于该光强度信号和与该光强度信号的变化相关联的时间，该闪烁分析电路可确定与该LED相关联的平均亮度。

Description

具有闪烁分析电路的事件传感器

本申请要求于2019年8月28日提交的临时专利申请号62/892,830的权益，该临时专利申请据此全文以引用的方式并入本文。

技术领域

本发明总体涉及成像传感器，并且更具体地涉及事件传感器。

背景技术

常规的成像传感器测量在像素阵列之间形成图像的光强度。相反，事件传感器检测传感器中每个像素中的光强度是否已更改。这可允许高时间分辨率、高动态范围和减少的运动模糊。

脉冲宽度调制的发光二极管(LED)照明会导致来自常规事件传感器的图像进行逐帧起伏。当检测到事件时，这可能导致误报(因为即使场景对于人类观看者保持不变，LED闪烁也触发事件传感器的事件)。

因此，期望提供改进的事件传感器。

附图说明

图1是根据一个实施方案的具有图像传感器的示例性电子设备的示意图。

图2是根据实施方案的用于读出图像传感器中的图像信号的示例性像素阵列以及相关联的读出电路的示意图。

图3是示出根据实施方案的相对于图像传感器曝露周期的发光二极管(LED)亮度随时间的曲线图。

图4是根据实施方案的包括具有事件检测和闪烁分析电路的事件传感器像素的示例性系统的示意图。

图5是根据实施方案的包括事件传感器像素的示例性系统的示意图，该事件传感器像素向控制和处理电路输出数据，该控制和处理电路包括事件检测和闪烁分析电路。

图6是根据实施方案的示例性系统的示意图，该系统包括具有事件检测电路的事件传感器像素以及具有闪烁分析电路的控制和处理电路。

图7是根据实施方案的示例性系统的示意图，示出了闪烁分析电路如何基于来自事件传感器像素的光强度信号和时间戳来输出平均有效LED亮度。

图8是示出根据实施方案的用于操作具有事件传感器像素和闪烁分析电路的系统(诸如图7的系统)的示例性方法的流程图。

图9是根据实施方案的包括低分辨率事件传感器、高分辨率高动态范围(HDR)传感器和闪烁分析电路的示例性系统的示意图。

图10是示出根据实施方案的用于操作具有低分辨率事件传感器、高分辨率HDR传感器和闪烁分析电路的系统(诸如图9的系统)的示例性方法的流程图。

具体实施方式

本发明的实施方案涉及图像传感器。本领域的技术人员应当理解，本发明的示例性实施方案可在不具有一些或所有这些具体细节的情况下实践。在其他情况下，为了避免不必要地模糊本发明的实施方案，未详细描述众所周知的操作。

电子设备诸如数字相机、计算机、移动电话和其他电子设备可包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成光强度信号的光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如用于操作像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件生成的电荷相对应。

图1是示例性成像和响应系统的示意图，该系统包括使用图像传感器捕获图像的成像系统。图1的系统100可以是电子设备，诸如相机、蜂窝电话、视频摄像机、或捕获数字图像数据的其他电子设备，可以是车辆安全系统(例如，主动制动系统或其他车辆安全系统)，可以是监视系统，或者可以是任何其他期望类型的系统。。

在车辆安全系统中，来自图像传感器的数据可供车辆安全系统使用以确定车辆周围的环境状况。例如，车辆安全系统可包括系统诸如停车辅助系统、自动或半自动巡航控制系统、自动制动系统、防撞系统、车道保持系统(有时称为车道漂移避免系统)、行人检测系统等。在至少一些情况下，图像传感器可形成半自动或自动无人驾驶车辆的一部分。系统100还可用于医学成像、监视和一般机器视觉应用。

如图1所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器14以及一个或多个透镜。

相机模块12中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以有不同类型的图像传感器。在图像捕获操作期间，每个透镜可将光聚集到相关联的图像传感器14上。图像传感器14可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。典型图像传感器可例如具有数百万的像素(例如，数兆像素)。例如，图像传感器14可包括偏置电路(例如，源极跟随器负载电路)、采样和保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(例如，缓冲电路)、寻址电路等。

可以将来自相机传感器14的静态图像数据和视频图像数据经由路径28提供给图像处理和数据格式化电路16。路径28可以是通过串行器/解串行器(SERDES)的连接，该串行器/解串行器用于高速通信并且尤其可用于汽车系统。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝露、实现视频图像稳定、脸部检测等。图像处理电路16可使用机器学习来处理所接收的图像数据。如果需要，图像处理和数据格式化电路16也可以用于压缩原始相机图像文件(例如，压缩成联合图像专家组或JPEG格式)。在典型布置方式(有时称为片上系统(SOC)布置方式)中，相机传感器14以及图像处理和数据格式化电路16在共用半导体衬底(例如，共用硅图像传感器集成电路管芯)上实现。如果需要，相机传感器14和图像处理电路16可以形成在单独半导体衬底上。例如，相机传感器14和图像处理电路16可以形成在已堆叠的单独衬底上。

成像系统10(例如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子系统20。路径18也可以是通过SERDES的连接。主机子系统20可包括处理软件，该处理软件用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离和/或滤波或以其他方式处理成像系统10提供的图像。

如果需要，系统100可为用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用的能力。为实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如小键盘、输入-输出端口、按钮、操纵杆和显示器)以及存储和处理电路24。存储和处理电路24可包括易失性存储器和非易失性存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。

成像系统中的图像传感器14中的一个或多个传感器可以是事件传感器。事件传感器可被配置为如果像素处的光强度改变则触发“事件”。如果照射到像素的光强度不变，则该像素不会产生任何事件。如果像素具有第一强度并改变为不同的第二强度，则得出结论，该像素处已发生事件(因为场景已改变强度)。可能存在阈值，在该阈值内像素强度被认为是相同的(例如，光强度信号彼此在5％之内，彼此在1％之内，彼此在0.1％之内等)。事件是基于逐像素检测的。

有多种方式在事件传感器中布置像素。在一些情况下，事件传感器中的每个像素可包括被配置为确定事件是否已经发生的电路。在这种类型的布置方式中，像素可输出指示事件是否已经发生的二进制信号(例如，输出1以指示事件已经发生，而输出0以指示事件尚未发生)和/或事件发生时的时间戳。另选地，像素可输出光强度信号。形成在像素外部的附加处理电路可分析光强度信号以评估事件是否已经发生。

从事件传感器像素输出的光强度信号也可具有多种可能的形式。在一个实施方案中，像素可在积分时间上累积电荷。例如，电荷累积在光电二极管中，然后使用转移晶体管传输到浮动扩散区域。耦接到浮动扩散区域的源极跟随器晶体管可用于读出光强度信号。在这个示例中，光强度信号等于在给定的积分时间上产生的电荷量。如果将相同的积分时间用于同一像素的多次曝露，则可比较每次曝露的电荷量(例如，光强度信号)以确定事件是否发生。

在另一可能的布置方式中，事件传感器像素可包括用于确定光强度的瞬时量度的电路。光强度信号可等于在任何给定时间点的像素的光电流。可将第一时间处的光电流与第二时间处的光电流进行比较。可比较光电流幅值以确定事件是否已经发生。

换句话说，可以以瞬时方式(例如，在给定时间处作为光电流)测量光强度，或者可以在给定时间段上对光强度进行平均(例如，积分时间上的电荷累积、给定时间段上的平均光电流等)。事件传感器使用的光强度信号的类型可能取决于传感器的特定应用和特定设计约束。

除了事件传感器之外，成像系统100还可包括基于帧的图像传感器。基于帧的图像传感器可以指的是基于积分时间产生高分辨率图像的图像传感器。在又一可能的布置方式中，单个图像传感器可包括基于事件的像素和基于帧的像素两者。

图2中示出了图1的相机模块12的布置方式的示例。如图2所示，相机模块12包括图像传感器14以及控制和处理电路44。控制和处理电路44可对应于图1中的图像处理和数据格式化电路16。图像传感器14可包括像素阵列，诸如像素34(在本文中有时称为图像传感器像素、成像像素或图像像素34)的阵列32，并且还可包括控制电路40和42。图像传感器14可以是基于帧的图像传感器或事件传感器。控制和处理电路44可耦接到行控制电路40，并且可经由数据路径26耦接到列控制和读出电路42。行控制电路40可从控制和处理电路44接收行地址，并且可通过控制路径36向图像像素34供应对应行控制信号(例如，双重转换增益控制信号、像素重置控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他期望像素控制信号)。列控制和读出电路42可经由一条或多条导线诸如列线38耦接到像素阵列32的列。列线38可耦接到图像像素阵列32中的每列图像像素34(例如，每列像素可耦接到对应列线38)。列线38可用于从图像像素34读出图像信号，并向图像像素34供应偏置信号(例如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路40来选择图像像素阵列32中的像素行，并且与该像素行的图像像素34相关联的图像数据可由列控制和读出电路42在列线38上读出。

列控制和读出电路42可包括列电路，诸如用于放大从阵列32读出的信号的列放大器、用于对从阵列32读出的信号进行采样和存储的采样和保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器电路、以及用于存储读出信号和任何其他期望数据的列存储器。列控制和读出电路42可通过线26将数字像素值输出到控制和处理电路44。

阵列32可以具有任何数量的行和列。一般来讲，阵列32的大小以及阵列32中的行和列的数量将取决于图像传感器14的特定具体实施。虽然行和列在本文中一般相应被描述为水平和竖直的，但是行和列可以指任何网格状的结构(例如，本文中描述为行的特征部可竖直地布置，并且本文中描述为列的特征部可水平地布置)。

像素阵列32可以设置有滤色器阵列，该滤色器阵列具有多个滤色器元件，该滤色器阵列允许单个图像传感器对不同颜色的光进行采样。例如，诸如阵列32中的图像像素的图像传感器像素可设置有滤色器阵列，该滤色器阵列允许单个图像传感器使用对应的被布置成拜耳马赛克图案的红色、绿色和蓝色图像传感器像素对红光、绿光和蓝光(RGB)进行采样。拜耳马赛克图案由2×2个图像像素的重复单元格组成，其中两个绿色图像像素沿对角线彼此相对，并且邻近与蓝色图像像素沿对角线相对的红色图像像素。在另一个合适示例中，拜耳图案中的绿色像素被替换为具有宽带滤色器元件(例如，透明滤色器元件、黄色滤色器元件等)的宽带图像像素。图像传感器也可以是单色传感器(例如，每个像素被相同颜色的滤色器元件覆盖)。这些示例仅仅是示例性的，并且一般来讲，可在任何期望数量的图像像素34上方形成任何期望颜色和任何期望图案的滤色器元件。

如果需要，阵列32可以是堆叠管芯布置方式的一部分，其中阵列32的像素34被划分在两个或更多个堆叠衬底之间。在此类布置方式中，阵列32中的每个像素34可在像素内的任何期望节点处被划分在两个管芯之间。举例来说，节点诸如浮动扩散节点可形成在两个管芯之上。包括光电二极管和耦接在光电二极管与期望节点(在本示例中，诸如浮动扩散节点)之间的电路的像素电路可以形成在第一管芯上，并且其余像素电路可以形成在第二管芯上。期望节点可形成在连接两个管芯的耦接结构(诸如导电衬垫、微型衬垫、导电互连结构或导电通孔)上(即，作为该耦接结构的一部分)。在两个管芯结合之前，耦接结构可以在第一管芯上具有第一部分，并且可以在第二管芯上具有第二部分。第一管芯和第二管芯可彼此结合，使得该耦接结构的第一部分和该耦接结构的第二部分被结合在一起并且电耦合。如果需要，耦接结构的第一部分和第二部分可彼此压缩结合。然而，这仅仅是例示性的。如果需要，可以使用任何金属对金属结合技术诸如软钎焊或焊接，来将形成在相应第一管芯和第二管芯上的耦接结构的第一部分和第二部分结合在一起。

如上所述，像素电路中被划分到两个管芯之上的期望节点可为浮动扩散节点。另选地，像素电路中被划分到两个管芯之上的期望节点可为在浮动扩散区与源极跟随器晶体管的栅极之间的节点(即，浮动扩散节点可以形成在其上形成光电二极管的第一管芯上，同时耦接结构可以将浮动扩散节点连接到第二管芯上的源极跟随器晶体管)、在浮动扩散区与转移晶体管的源极-漏极节点之间的节点(即，浮动扩散节点可以形成在光电二极管未位于其上的第二管芯上)、在源极跟随器晶体管的源极-漏极节点与行选择晶体管之间的节点、或像素电路的任何其他期望节点。

一般来讲，阵列32、行控制电路40、列控制和读出电路42以及控制和处理电路44可以被划分在两个或更多个堆叠衬底之间。在一个示例中，阵列32可以形成在第一衬底中，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可以形成在第二衬底中。在另一个示例中，阵列32可以被划分在第一衬底和第二衬底之间(使用上述像素划分方案中的一个像素划分方案)，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可以形成在第三衬底中。

发光二极管和其他照明可能对图像传感器的操作提出挑战。发光二极管异步发光。换句话说，发光二极管具有相关频率(例如120Hz)。发光二极管在发光的导通周期和不发光的断开周期之间交替。人眼将这些导通周期和断开周期视为统一的平均强度。

如果不小心，当图像传感器在不同帧上捕获来自发光二极管(LED)的不同数量的脉冲时，图像传感器可能在一些帧中输出第一电平，而在其他帧中输出不同的第二电平，即使场景对人眼不变。在事件传感器中，即使场景对人眼不变，这也可能导致错误识别事件。

图3是示出在图像传感器的曝露周期之间发光二极管脉冲的数量如何变化的时序图。实线102示出了图像传感器的曝露周期的时序，而虚线104示出了由图像传感器捕获的发光二极管中的发光二极管脉冲的时序。如图所示，图像传感器可具有一定时间长度并且以某个频率(例如，每秒30帧或某个其他期望频率)发生的曝露周期106。类似地，由传感器捕获的发光二极管可以在“导通”周期108(有时称为脉冲或高时段)和“断开”周期110(有时称为低时段)之间交替。在脉冲期间，发光二极管可发射光。在断开周期期间，发光二极管可不发射光。

如图3所示，在每个图像传感器曝露周期期间LED脉冲的数量可以变化。在第一曝露周期期间，发生两个LED脉冲。在第二曝露周期期间，仅发生一个LED脉冲。因此，图像传感器有时可测量与LED相关联的强度，该强度在第一曝露期间是在第二曝露期间的两倍。当将该图像序列显示给用户或记录为视频时，帧与帧之间强度的这种变化是不期望的，因为即使观看场景的人没有察觉到亮度的变化，亮度也会发生变化。

每当场景中的LED导通和每当LED断开时，事件传感器都会产生事件。场景中的任何运动也会产生事件，因为假设对象和背景的强度不同，则对象移动的像素强度会触发事件。

因此，事件传感器可包括闪烁分析电路，该闪烁分析电路能够分析来自像素的输出并推断LED图案/频率。使用LED图案/频率，闪烁分析电路可确定所捕获的LED的有效LED亮度。该有效的LED亮度可用于校正图像数据，使得图像数据与人眼所见的相匹配。

图4至图6示出了具有事件传感器像素以及事件检测和闪烁分析电路的示例性系统。如前所讨论的，对于如何将事件检测电路与事件传感器像素集成在一起，有许多选择。在图4的示例中，成像系统100可包括事件传感器像素34，每个事件传感器像素包括光电二极管82以及事件检测和闪烁分析电路116。换句话说，每个像素34包括其自己的分析电路116。事件检测和闪烁分析电路116可从光电二极管82接收光强度信号。事件检测和闪烁分析电路116可分析光强度信号并确定是否已经发生事件。此外，分析电路116可被配置为校正由场景中的发光二极管(或其他光源)引起的用于闪烁的光强度信号。分析电路116还可被配置为确定与LED相关联的平均LED亮度。

每个事件传感器像素中包括的分析电路的图4的示例仅仅是示例性的。在图5所示的另一实施方案中，每个事件传感器像素34包括光电二极管82。可从事件传感器像素34(例如基于来自光电二极管的光电流)将光强度信号输出到作为控制和处理电路44的一部分的事件检测和闪烁分析电路116。换句话说，分析电路116没有被并入每个像素本身，而是在像素外部的某个位置处(例如，在包括事件传感器像素的芯片的外围，在与包括事件传感器像素的芯片不同的芯片上等)从像素接收数据。

在又一种可能的布置方式中，事件检测电路和闪烁分析电路可被分离。如图6所示，事件传感器像素34可包括光电二极管82和事件检测电路116-1。事件检测电路可使用来自光电二极管的光强度信号来识别事件何时发生。事件检测电路可将检测到的事件的时间戳和对应的光强度信号输出到控制和处理电路44。闪烁分析电路116-2可接收光强度信号和时间戳并使用该信息来推断LED图案/频率。在事件传感器像素34包括事件检测电路的情况下，事件传感器像素可仅在检测到事件时输出数据。只要未检测到事件，就不存在来自像素的输出。

无论使用何种具体布置方式，闪烁分析电路可最终具有如图7所示的输入和输出。如图所示，每个事件传感器像素34可输出光强度信号和时间戳。该信息可任选地被提供给缓冲器114。缓冲器114可以是用于存储来自像素的事件的物理存储器存储装置的区域。存储器可使用任何期望的读/写方案(例如，随机存取存储器)来操作。

最后，闪烁分析电路从事件传感器像素接收包括光强度信号和时间戳的信息。该信息可以是原始数据(例如，未由事件检测电路处理)或者可能已经由事件检测电路处理。闪烁分析电路可接收光强度信号和光强度变化的时间戳并识别该数据中存在的LED频率。闪烁分析电路可使用所识别的LED频率来避免识别事件时的误报。换句话说，闪烁分析电路可在事件传感器数据用于成像系统的附加处理之前移除仅由LED闪烁引起的误报事件。另外，闪烁分析电路可输出平均有效LED亮度水平。可基于LED导通和断开时的光强度水平以及LED的占空比来确定有效LED亮度水平。

作为确定有效LED亮度水平的示例，考虑图3的示例。在图3中，LED亮度遵循图案104，具有导通周期108和断开周期110。在t₀处，光强度可从S₀(例如，“断开”亮度)改变为S₁(例如，“导通”亮度)。LED在t₀和t₁之间保持导通。在t₁处，光强度从S₁下降回到S₀。LED在t₁和t₂之间保持断开。

闪烁减轻电路可(例如，从事件检测电路或直接从作为原始数据的像素)接收亮度水平S₀和S₁以及时间戳t₀、t₁和t₂。因此，每个LED循环的平均亮度由(S₀*(t₁-t₀)+S1*(t₂-t₀))/(t₂-t₀)确定。换句话说，使用单个LED循环(例如，一个导通周期和一个断开周期)的时间平均来确定平均亮度。从闪烁分析电路116输出所得的有效亮度。闪烁分析电路116还可输出去除了LED闪烁事件的修改的无起伏的图像数据。

每个像素可具有关联的缓冲器114和闪烁分析电路116。另选地，缓冲器114和/或闪烁分析电路116可任选地在两个或更多个像素之间共享。

图8是在操作具有图7所示类型的事件传感器像素的系统中所涉及的示例性步骤的流程图。如图所示，在步骤202处，可获得图像数据(例如，事件时间戳和对应的光强度)。例如，事件传感器中的像素可获得图像数据并将该图像数据存储在诸如缓冲器114的缓冲器中。在步骤204处，可识别LED闪烁图案。闪烁分析电路116可用于识别LED闪烁图案/频率。在识别LED闪烁图案之后，可在步骤206处校正来自像素的图像数据以产生无起伏输出。

在步骤206处，可由闪烁分析电路116分析像素数据(任选地来自缓冲器114)。闪烁分析电路116可被配置为识别来自存储在缓冲器中的像素的数据中的LED闪烁图案/频率。闪烁分析电路可使用所识别的LED闪烁图案来避免错误地识别“事件”。另外，闪烁分析电路可确定模拟人眼感知到的一致亮度的平均亮度(与传感器像素可检测到的LED闪烁相反)。闪烁分析电路可输出校正后的图像数据，该图像数据具有在每次曝露中考虑的平均LED亮度，这与使LED波动引起不同曝露的差异相反。

一旦闪烁分析电路116检测到LED闪烁图案，它可输出平均信号，该平均信号考虑在每个曝露周期期间接收到的LED脉冲的数量的变化。平均信号可为时间加权平均值。由闪烁分析电路产生的平均信号可反映LED的有效亮度。闪烁分析电路产生的平均信号可保持恒定(只要LED操作频率保持不变)，这意味着来自传感器14的输出不会发生不期望的输出起伏。

如图9所示，系统100可包括事件传感器14、附加传感器122和显示器132。来自事件传感器14的图像数据可用于修改或校正来自传感器122的数据。事件传感器14可以是相对低分辨率的传感器，因为事件检测所需的电路可使像素相对较大。与仅包括事件传感器14相比，包括诸如高分辨率高动态范围(HDR)传感器122的相对高分辨率传感器可允许成像系统获得更详细的图像。换句话说，传感器122比传感器14具有更高的分辨率。成像系统可包括如结合图4至图8所描述的闪烁分析电路116。闪烁分析电路可并入事件传感器14中(如图9所示)，或者可在事件传感器14的外部。来自闪烁分析电路116的信息(例如，检测到的LED闪烁的频率、LED的有效亮度等)可由控制电路134(例如，图1中的电路16、图2中的电路44、图1中的电路24等)使用以修改来自高分辨率HDR传感器122的图像数据。来自高分辨率HDR传感器122的修改后的图像数据可用于在显示器132上显示图像。

系统100可以是车辆系统，其中显示器132用作车辆中的镜子(例如，后视镜或侧视镜)的替代。显示器可代替车辆中用作镜子的反射表面，用于显示捕获到的车辆周围环境的图像。低分辨率事件传感器14和高分辨率HDR传感器122均可捕获车辆周围环境的图像。可基于来自低分辨率事件传感器14的信息(例如，由闪烁分析电路116确定的闪烁信息)来修改来自高分辨率HDR传感器122的数据。然后，来自HDR传感器122的修改后的数据可在显示器132上显示校正后的图像。由于闪烁分析电路考虑了场景中的LED频率，因此显示在132上的校正后的图像可以是无起伏的。

图10是在操作具有图9所示类型的低分辨率事件传感器和高分辨率HDR传感器的系统中涉及的示例性步骤的流程图。如图所示，在步骤302处，可利用事件传感器14获得第一图像数据(例如，事件时间戳和对应的光强度)。在步骤304处，可用HDR传感器122获得第二图像数据。来自HDR传感器122的图像数据可包括通过在积分时间上累积电荷而获得的每个成像像素的亮度值(例如，HDR传感器122是基于帧的图像传感器，而不是事件传感器)。在步骤306处，闪烁分析电路(例如，闪烁分析电路116)可分析来自事件传感器的第一图像数据，以识别所捕获场景中的LED闪烁图案/频率。闪烁分析电路116还可确定场景中的一个或多个LED的有效LED亮度。然后可在步骤308处使用该信息(例如，由控制和处理电路44、存储和处理电路24或任何其他期望的系统部件)来校正第一图像数据和/或第二图像数据。校正后的第一图像数据和第二图像数据可没有由LED闪烁引起的起伏。然后显示器可使用校正后的第二图像数据用于显示捕获的场景。

根据实施方案，系统可包括：事件传感器像素，该事件传感器像素曝露于来自发光二极管的闪烁光并且被配置为输出光强度信号；以及闪烁分析电路，该闪烁分析电路被配置为从事件传感器像素接收光强度信号并输出平均亮度值，该平均亮度值去除由来自发光二极管的闪烁光引起的光强度起伏。

根据另一实施方案，该系统还可包括事件检测电路，该事件检测电路被配置为基于来自事件传感器像素的光强度信号来识别事件。

根据另一实施方案，事件检测电路可被配置成将与事件相关联的光强度幅值和与事件相关联的时间戳提供给闪烁分析电路。

根据另一实施方案，事件检测电路可被配置为向缓冲器提供与事件相关联的光强度幅值和与事件相关联的时间戳，并且闪烁分析电路可被配置为从缓冲器接收光强度幅值和时间戳。

根据另一实施方案，事件传感器像素可包括光电二极管，并且光强度信号可为与光电二极管相关联的光电流幅值。

根据另一实施方案，闪烁分析电路可被配置为在发光二极管的一个循环上使用光强度信号的时间平均来确定平均亮度值。

根据另一实施方案，闪烁分析电路可集成在事件传感器像素中。

根据另一实施方案，闪烁分析电路可与事件传感器像素分开形成。

根据另一实施方案，事件传感器像素可以是包括事件传感器像素阵列的事件传感器的一部分，并且每个事件传感器像素可具有相应的闪烁分析电路。

根据另一实施方案，该系统还可包括与事件传感器分开形成的基于帧的图像传感器。

根据另一实施方案，基于帧的图像传感器可比事件传感器具有更高的分辨率。

根据另一实施方案，该系统还可包括控制电路，该控制电路被配置为基于由闪烁分析电路确定的平均亮度值来校正来自基于帧的图像传感器的图像数据。

根据另一实施方案，该系统还可包括显示器，该显示器被配置为显示来自基于帧的图像传感器的校正后的图像数据。

根据实施方案，曝露于闪烁光的系统可包括：事件传感器，该事件传感器包括产生第一图像数据的多个事件传感器像素；基于帧的图像传感器，该基于帧的图像传感器包括产生第二图像数据的多个成像像素；闪烁减轻电路，该闪烁减轻电路被配置为基于第一图像数据来识别闪烁光的图案；控制电路，该控制电路被配置为基于来自闪烁减轻电路的闪烁光的图案来修改第二图像数据以去除由闪烁光引起的起伏。

根据另一实施方案，多个成像像素中的每个成像像素可在积分时间上累积电荷。

根据另一实施方案，第一图像数据可包括光强度信号和对应的时间戳。

根据另一实施方案，该系统还可包括被配置为显示修改后的第二图像数据的显示器。

根据实施方案，操作包括事件传感器和闪烁分析电路的系统的方法可包括使用事件传感器获取图像数据；使用闪烁分析电路检测图像数据中的闪烁图案；以及基于检测到的闪烁图案，校正图像数据以产生无起伏输出。

根据另一实施方案，校正图像数据以产生无起伏输出可包括在一个闪烁循环的时间长度上对光强度进行时间平均。

根据另一实施方案，该系统可包括与事件传感器分开形成的附加图像传感器，并且该方法可包括基于检测到的闪烁图案校正来自附加图像传感器的附加图像数据。

上述内容仅仅为例示性的，并且可对所描述的实施方案进行各种修改。上述实施方案可单个实施或以任意组合方式实施。

Claims (10)

1.一种系统，包括：

事件传感器像素，所述事件传感器像素曝露于来自发光二极管的闪烁光，其中所述事件传感器像素被配置为输出光强度信号；和

闪烁分析电路，所述闪烁分析电路被配置为从所述事件传感器像素接收所述光强度信号并输出平均亮度值，所述平均亮度值去除由来自所述发光二极管的所述闪烁光引起的光强度起伏。

2.根据权利要求1所述的系统，还包括：

事件检测电路，所述事件检测电路被配置为基于来自所述事件传感器像素的所述光强度信号来识别事件，其中所述事件检测电路被配置为将与所述事件相关联的光强度幅值和与所述事件相关联的时间戳提供给所述闪烁分析电路。

3.根据权利要求1所述的系统，还包括：

事件检测电路，所述事件检测电路被配置为基于来自所述事件传感器像素的所述光强度信号来识别事件，其中所述事件检测电路被配置为向缓冲器提供与所述事件相关联的光强度幅值和与所述事件相关联的时间戳，并且其中所述闪烁分析电路被配置为从所述缓冲器接收所述光强度幅值和所述时间戳。

4.根据权利要求1所述的系统，其中所述事件传感器像素包括光电二极管，并且其中所述光强度信号是与所述光电二极管相关联的光电流幅值。

5.根据权利要求1所述的系统，其中所述闪烁分析电路被配置为在所述发光二极管的一个循环上使用所述光强度信号的时间平均来确定所述平均亮度值。

6.根据权利要求1所述的系统，其中所述闪烁分析电路集成在所述事件传感器像素中。

7.根据权利要求1所述的系统，其中所述闪烁分析电路与所述事件传感器像素分开地形成。

8.根据权利要求1所述的系统，其中所述事件传感器像素是包括事件传感器像素的阵列的事件传感器的一部分，其中每个事件传感器像素具有相应的闪烁分析电路，并且其中所述系统还包括：

基于帧的图像传感器，所述基于帧的图像传感器与所述事件传感器分开地形成，其中所述基于帧的图像传感器具有比所述事件传感器更高的分辨率；

控制电路，所述控制电路被配置为基于由所述闪烁分析电路确定的所述平均亮度值来校正来自所述基于帧的图像传感器的图像数据；和

显示器，所述显示器被配置为显示来自所述基于帧的图像传感器的校正后的图像数据。

9.一种曝露于闪烁光的系统，包括：

事件传感器，所述事件传感器包括产生第一图像数据的多个事件传感器像素；

基于帧的图像传感器，所述基于帧的图像传感器包括产生第二图像数据的多个成像像素；

闪烁减轻电路，所述闪烁减轻电路被配置为基于所述第一图像数据识别所述闪烁光的图案；和

控制电路，所述控制电路被配置为基于来自所述闪烁减轻电路的闪烁光的所述图案来修改所述第二图像数据以去除由所述闪烁光引起的起伏。

10.一种操作包括事件传感器和闪烁分析电路的系统的方法，所述方法包括：

使用所述事件传感器获取图像数据；

使用所述闪烁分析电路检测所述图像数据中的闪烁图案；以及

基于所检测到的闪烁图案，校正所述图像数据以产生无起伏输出。

Images