CN117957853A - 用于在基于帧的图像读出的消隐时间内获取基于事件的图像的方法和基于事件的视觉传感器 - Google Patents
用于在基于帧的图像读出的消隐时间内获取基于事件的图像的方法和基于事件的视觉传感器 Download PDFInfo
- Publication number
- CN117957853A CN117957853A CN202180102414.3A CN202180102414A CN117957853A CN 117957853 A CN117957853 A CN 117957853A CN 202180102414 A CN202180102414 A CN 202180102414A CN 117957853 A CN117957853 A CN 117957853A
- Authority
- CN
- China
- Prior art keywords
- event
- circuit
- frame
- synchronization operation
- pixel circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000002093 peripheral effect Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 230000002596 correlated effect Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 239000003990 capacitor Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
一种与电路一起用于同步操作的基于事件的视觉传感器的驱动方法。所述方法包括：在整个同步操作期间检测作为光照度变化的事件，但基于事件的像素电路检测到所述事件并复位的时期除外；当读出事件数据时，在所述同步操作的一部分期间读取所述事件的信息；在所述同步操作的另一部分期间，暂停所述基于事件的像素电路和所述基于事件的视觉传感器的外围电路之间为了读取所述事件信息的通信。所述方法可以抑制异步控制信号引发的突入电流对基于帧的图像传感器操作的干扰。
Description
技术领域
本申请涉及一种用于获取基于事件的图像的方法和基于事件的视觉传感器。
背景技术
传统的图像数据由基于帧的图像传感器获取。基于帧的图像数据是每个像素逐帧的光强数据。基于事件的视觉传感器也称为动态视觉传感器(Dynamic Vision Sensor，DVS)，因其具有低延迟(高速)、低功耗和高动态范围的变化检测功能，预计将主要作为移动设备的新型相机系统的一个组件加以应用。例如，基于事件的视觉传感器的变化检测功能有望实现以下功能：
(1)进行低延迟、高动态范围、低功耗的同时定位与地图构建(SimultaneousLocalization And Mapping，SLAM)的特征点提取，使移动设备能够实现具有高可追溯性的室内导航系统。
(2)快速检测运动对象，实现高速电影和高分辨率图像的重建，以补偿动态模糊并对超过传统基于帧的图像传感器的帧率限制的帧间图像进行插值。
然而，基于事件的视觉传感器不能单独获得传统的图像。因此，基于事件的视觉传感器的应用仅限于机器视觉，包括汽车应用。也就是说，上述应用需要另一个相机来拍摄基于帧的图像。此外，用于将两种类型的图像对齐的配准过程可能需要大量计算。
为了更准确地将两张图像对齐，提出了混合架构。基于帧的图像传感器的像素源跟随器和基于事件的视觉传感器的事件检测器共用一个光电二极管。因此，这种图像传感器可以通过同一光学系统获得两种类型的图像。这意味着这些图像传感器不需要配准过程来将两种类型的图像对齐。
然而，这些技术要求像素源跟随器和事件检测器彼此靠近。因此，人们担心像素源跟随器和事件检测器的操作会相互干扰。特别是，事件检测器的操作可能会引发数字操作的突入电流，这可能会导致像素源跟随器输出电平的波动。此外，像素中的事件检测器和外围编码器之间的通信会产生一个大的电流环路，这可能会在像素源跟随器输出中产生电磁噪声。
为了避免其它组件对基于帧的图像传感器中的像素源跟随器和模数转换器(Analog to Digital Converter，ADC)产生干扰，提出一种同步技术。通过在相关双采样(Correlated Double Sampling，CDS)的两个转换阶段(即已知电平和未知电平的数字输出采集)中保持组件状态相同，可以减少像素源跟随器和ADC中的干扰。
根据现有技术的操作方法只能应用于完全同步的系统中。因此，在涉及异步组件(例如，在像素检测到照度水平变化时检测信号的基于事件的传感器输出)的系统中很难应用此技术。
发明内容
提供了一种用于在基于帧的图像读出的消隐时间内获取基于事件的图像的方法和基于事件的视觉传感器，以抑制异步控制信号引发的突入电流对基于帧的图像传感器操作的干扰。
根据第一方面，提供了一种与电路一起用于同步操作的基于事件的视觉传感器的驱动方法，其中，所述方法包括：
在整个同步操作期间检测作为光照度变化的事件，但基于事件的像素电路检测到所述事件并复位的时期除外；
当读出事件数据时，在所述同步操作的一部分期间读取所述事件的信息；
在所述同步操作的另一部分期间，暂停所述基于事件的像素电路和所述基于事件的视觉传感器的外围电路之间为了读取所述事件信息的通信。
在第一方面的一种可能的实现方式中，所述基于事件的像素电路和所述外围电路之间的通信是通过断开行线和列线与所述外围电路的连接而暂停的。
在第一方面的一种可能的实现方式中，所述基于事件的像素电路和所述外围电路之间的通信是通过关断所述外围电路而暂停的。
在第一方面的一种可能的实现方式中，所述方法还包括：根据用于驱动所述同步操作的时钟为所述事件数据分配时间戳。
在第一方面的一种可能的实现方式中，所述时间戳根据基于帧的图像传感器的模数转换器(Analog to Digital Converter，ADC)操作的同步信号而递增。
在第一方面的一种可能的实现方式中，相关双采样在所述同步操作期间执行，所述同步操作的所述一部分开始于第二下降斜率的末端且结束于第一下降斜率的起点。
根据第二方面，提供了一种与电路一起用于同步操作的基于事件的视觉传感器，其中，所述基于事件的视觉传感器包括：
基于事件的像素电路，用于在整个同步操作期间检测作为光照度变化的事件，但基于事件的像素电路检测到所述事件并复位的时期除外；
外围电路，用于在读出事件数据时在所述同步操作的一部分期间读取所述事件的信息，并在所述同步操作的另一部分期间暂停与所述基于事件的像素电路之间为了读取所述事件信息的通信。
在第二方面的一种可能的实现方式中，与所述基于事件的像素电路的通信是通过断开行线和列线与所述外围电路的连接而暂停的。
在第二方面的一种可能的实现方式中，与所述基于事件的像素电路的通信是通过关断所述外围电路而暂停的。
在第二方面的一种可能的实现方式中，所述外围电路还用于：根据用于驱动所述同步操作的时钟为所述事件数据分配时间戳。
在第二方面的一种可能的实现方式中，所述时间戳根据基于帧的图像传感器的模数转换器(Analog to Digital Converter，ADC)操作的同步信号而递增。
在第二方面的一种可能的实现方式中，相关双采样在所述同步操作期间执行，所述同步操作的所述一部分开始于第二下降斜率的末端且结束于第一下降斜率的起点。
附图说明
为了更清楚地描述本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需的附图作简单的介绍。以下描述中的附图仅示出了本发明的一些实施例，本领域普通技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1示出了基于帧的像素电路的示例；
图2示出了用于相关双采样(Correlated Double Sampling，CDS)的典型RAMP波形的示例；
图3示出了基于事件的像素电路100和仲裁器电路200的示例；
图4示出了根据本发明实施例的仲裁器电路201的示例；
图5示出了根据本发明实施例的操作；
图6示出了基于事件的图像和基于帧的图像的读出操作；
图7示出了基于事件的像素电路101和扫描器电路202的示例；
图8示出了根据本发明实施例的扫描器电路203的示例；
图9示出了基于事件的图像和基于帧的图像的读出操作。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明实施例，本领域普通技术人员在不需要做出创造性劳动的前提下所获得的所有其它实施例，都应属于本发明保护的范围。
本发明实施例提供了用于减少基于事件的操作组件对同步(基于帧的)操作组件的干扰的操作方法和电路。首先，分别说明基于帧的操作组件和基于事件的操作组件的示例。
图1示出了基于帧的像素电路的示例。该电路包括典型的像素电路和ADC。例如，基于帧的图像传感器具有按i列和j行排列的i×j个像素。像素电路包括光电二极管(photodiode，PD)、传输栅极晶体管(transfer gate transistor，TX)、复位晶体管(resettransistor，RST)、源极跟随器放大器晶体管(source follower amplifier transistor，AMP)、行选择晶体管(row select transistor，SEL)以及在SEL的源极和接地之间连接的电流源。ADC连接在SEL的源极和电流源之间。作为模拟信号的像素信号(PIXEL)通过电容器输入到比较器(comparator，CMP)的反相输入端中，用于补偿(像素信号的输出范围和比较器的输入范围之间的)工作范围差。由RAMP发生器生成的斜坡信号(RAMP)通过电容器输入到CMP的非反相输入端中，用于补偿(斜坡信号的输出范围和比较器的输入范围之间的)工作范围差。RAMP发生器输出RAMP波形。同列像素的ADC可以共用RAMP发生器。CMP的输出输入到计数器(CNT)中，计数值存储在锁存器(图1中未示出)中。
图2示出了用于相关双采样(Correlated Double Sampling，CDS)的典型RAMP波形的示例。实线表示斜坡信号(RAMP)，虚线表示复位电平下的像素输出。复位电平和信号电平分别采样如下：第一下降斜率用于复位电平下的像素输出的AD转换，第二下降斜率用于信号电平下的像素输出的AD转换。CNT从第一下降斜率的起点开始计数，直到第一下降斜率越过虚线。此计数值对应于复位电平。如果没有来自像素的信号，则信号电平与复位电平相同，即虚线所示的电平不会改变。CNT从第二下降斜率的起点开始计数，直到第二下降斜率越过虚线。如果有来自像素的信号，虚线下降到与复位电平以下的信号相对应的电平，CNT从第二下降斜率的起点开始计数，直到第二下降斜率越过虚线。此计数值对应于信号电平。输出电平定义为对应于信号电平的计数值与对应于复位电平的计数值之间的差值。
下面对本发明实施例一进行说明。
图3示出了基于事件的像素电路100和仲裁器电路200的示例。假设图3中的基于事件的像素电路100位于基于事件的视觉传感器的第i列和第j行。例如，可以为基于帧的图像传感器中的每个像素提供基于事件的像素电路100。仲裁器电路200包括列仲裁器210和行仲裁器220。列线C1、C2和C3分别连接到列仲裁器210。行线R1和R2连接到行仲裁器220。此外，这些列线和行线具有大的负载电容，当这些线上的信号切换时，可能会引发突入电流。
基于事件的像素电路100包括事件检测器110、晶体管121至124、与门131至133以及延迟140。可以为每个事件检测器110提供一个光电二极管，事件检测器110和基于帧的像素电路(图3中未示出)也可以共用一个光电二极管。事件检测器110将光电二极管电流对数转换为电压，检测电压变化，并在电压变化超过预定阈值电压时输出“ON事件”，或在电压变化低于预定阈值电压时输出“OFF事件”。如果事件检测器110输出“ON事件”(高电平)，则晶体管121导通，并且第j行的行线R1的电压变为低电平(以下称为“RowReq”)。“ON事件”(高电平)保持到列仲裁器210在列线C3上输出“ColAck”为止，并且事件检测器110接收复位信号。“RowReq”由行仲裁器220检测。行仲裁器220从多行的“RowReq”进行仲裁，并逐个输出“RowAck”到行线R2。如果行仲裁器220输出“RowAck”，“ON事件”和“RowAck”输入到与门131，则与门131的输出变为高电平，晶体管123导通，且第i列的列线C1的电压变为低电平。通过这种方式，仲裁器电路200在第i列和第j行检测到“ON事件”。然后，列仲裁器210在列线C3上输出“ColAck”，“RowAck”和“ColAck”输入到与门133，与门133的输出变为高电平，延迟140从与门133接收高电平信号，将高电平信号延迟并输出到事件检测器110的“复位”端子。事件检测器110将“ON事件”复位，即，事件检测器110的“ON”端子的电压变为低电平，与门131的输出变为低电平，晶体管121和123关断，行线R1和列线C1的电压变为高电平。
在基于事件的像素电路100和仲裁器电路200的上述操作中，一旦检测到事件，就在垂直方向和水平方向上运行握手协议，在每次事件检测期间，长控制线上都会有充放电电流流动，这些信号线的充放电可能会引发大的环路电流。
以下的本发明实施例一提供了用于异步型基于事件的视觉传感器的行方向和列方向的仲裁器电路的实现方式。图4示出了根据本发明实施例的仲裁器电路201的示例。在图5中示出为“事件传输启用”的时期内，行线R1连接到行仲裁器221，列线C1和C2连接到列仲裁器211。在图5中示出为“事件传输禁用”的时期内，列线C1和C2以及行线R1被下拉，即接地。通过下拉控制线来抑制充放电电流。根据本发明的这一实施例，通过关断开关213、215和223并导通开关212、214和222，断开与在列和行上运行的垂直和水平信号线的连接，来禁用这些仲裁器。此外，当这些仲裁器断开与垂直和水平信号线的连接时，这些线可能会被下拉或上拉，以避免事件检测引发的充放电电流。
在基于帧的图像的读出操作周期的消隐期内的事件数据获取通过以下过程执行：(1)当事件数据处于AD转换期以外的时期时，获取事件数据；(2)根据AD转换期获取每个事件数据的时间戳，(3)在AD转换期内，通过切断事件数据的行和列通信上的电流传递，断开外围电路(图4中的仲裁器电路200)与基于事件的像素电路100的连接；在此，不禁用每个像素的事件检测功能。即使开关212、214和222关断，基于事件的像素电路100仍继续检测“ON事件”或“OFF事件”并输出“RowReq”，并且当开关213、215和223导通时，该“RowReq”由行仲裁器220检测和仲裁。
图5中的波形图示出了根据本发明实施例的操作。这里，“Hsync”是指基于帧的图像传感器中用于列并行ADC(所有列的AD转换都是并行执行的)的ADC操作的同步信号。通常，所述ADC是单斜率ADC，“RAMP波形”表示ADC的参考电压波形。在RAMP波形的下降期内，通过计数器测量模拟输入电平，作为跨越模拟输入和RAMP电平的时间，此时的计数值成为数字输出。对于相关双采样，一个ADC时期中包括两个RAMP下降斜率。RAMP波形及“事件传输启用”和“事件传输禁用”的替代操作如图5所示。仅在称为“事件传输启用”的时期内，允许基于事件的视觉传感器中的像素与外围电路通信，以输出基于事件的视觉传感器的事件数据。另一方面，在称为“事件传输禁用”的时期内，不允许像素与外围电路通信，但像素能够检测到事件，并在下一个“事件传输启用”时期内输出事件的状态。
基于事件的视觉数据是至少包括图像区域中的事件位置及其事件时间戳的数据数组。时间戳根据“Hsync”阶跃式上升。在图5中，时间戳在第一个“Hsync”后为N，时间戳在第二个“Hsync”后为N+1。在基于“Hsync”的时间戳递增的情况下，根据“事件传输启用”和“事件传输禁用”的替代操作的时间戳误差可以忽略不计，因为操作中的最大时间戳误差是一个“Hsync”周期，如图6所示，其中，T.S.是指时间戳。图6示出了基于事件的图像和基于帧的图像的读出操作。“Hsync”和ADC的波形如图6的上部所示。在ADC的波形下，随时间推移示出了时间戳的值。当“Hsync”变为低电平时，时间戳的值递增。纵轴“Y”对应于行号。由“R.O.”(读出)表示的矩形表示基于帧的图像传感器的读出操作是针对相应的行执行的。图6示出了读出操作是从底行到顶行执行的。这个读出顺序只是一个示例。点状区域表示“事件传输禁用”时期，即所有行的事件事务均禁用。点状区域的范围从底行到顶行，包括由“R.O.”表示的矩形后面的区域。斜线区域(线条向上向右倾斜)表示“事件传输启用”时期，即检测到“ON事件”或“OFF事件”的任何行的事件事务启用。斜线区域的范围从底行到顶行，包括由“R.O.”表示的矩形后面的区域。事件事务的顺序由行仲裁器220仲裁。如图6底部的双向箭头所示，在从“事件传输启用”时期结束到下一个“事件传输启用”时期开始的时期内检测到的事件被分配时间戳“N+1”。
例如，通过修改控制程序并添加端接在整个行和列上运行的水平和垂直信号线的功能(例如，通过使用上拉/下拉电路等)，可以用基于事件的视觉传感器的传统组件来实现上述实施例。
根据本实施例，事件检测器110通常在握手协议之后由来自仲裁器电路200的控制信号复位。因此，此操作使像素即使在“事件传输禁用”时期内也可继续检测事件。此外，可以读出下一个“事件传输启用”时期中每个像素的事件检测结果。根据该操作，可以抑制异步控制信号引发的突入电流对基于帧的图像传感器操作的干扰。
下面对本发明实施例二进行说明。检查所有像素的事件检测状态，即在每个“事件传输启用”时期内，针对所有像素检查事件是否检测到。在该操作中，通过与上述实施例一相同的方式，每个像素即使在“事件传输禁用”时期内也可以检测到自身的事件，并且该事件数据在下一个“事件传输启用”时期内输出。
图7示出了基于事件的像素电路101和扫描器电路202的示例。假设图7中的基于事件的像素电路101位于基于事件的视觉传感器的第i列和第j行。扫描器电路202(外围电路)包括列仲裁器/扫描器230和行扫描器240。列线C1、C2和C3连接到列仲裁器/扫描器230，线C1和C2也分别通过电容器接地。行线R2连接到行扫描器240。与图3所示的电路相比，没有提供行线R1与晶体管121和122。
基于事件的像素电路101包括事件检测器110、晶体管123和124、与门131和132以及延迟140。例如，行扫描器240从底行到顶行依次输出“RowSel”。如果事件检测器110输出“ON事件”，行扫描器240输出“RowSel”，则与门131的输出变为高电平，晶体管123导通，且第i列的列线C1的电压变为低电平。通过这种方式，扫描器电路202在第i列和第j行检测到“ON事件”。然后，列仲裁器/扫描器230在线C3上输出“ColAck”，“RowSel”和“ColAck”输入到与门133，与门133的输出变为高电平，延迟140从与门133接收高电平信号，并将高电平信号延迟并输出到事件检测器110的“复位”端子。事件检测器110将“ON事件”复位，即事件检测器110的“ON”端子的电压变为低电平。行扫描器240在“事件传输禁用”时期内保持开启。
在基于事件的像素电路101和扫描器电路202的上述操作中，一旦检测到事件，就在垂直方向和水平方向上实现握手协议，在每次事件检测期间，长控制线上都会有充放电电流流动，这些信号线的充放电可能会引发大的环路电流。
以下的本发明实施例二提供了用于异步型基于事件的视觉传感器的行方向和列方向的扫描器电路的实现方式。图8示出了根据本发明实施例的扫描器电路203的示例。在图5中示出为“事件传输禁用”的时期内，行扫描器241关闭，列线C1和C2端接。列线C1和C2的上拉电阻自动将列线C1和C2上拉。
图9示出了基于事件的图像和基于帧的图像的读出操作。纵轴“Y”对应于行号。由“R.O.”(读出)表示的矩形表示基于帧的图像传感器的读出操作是针对相应的行执行的。图9示出了读出操作是从底行到顶行执行的。这个读出顺序只是一个示例。点状区域表示“事件传输禁用”时期，即所有行的事件事务均禁用。点状区域的范围从底行到顶行，包括由“R.O.”表示的矩形后面的区域。斜线区域(线条向上向右倾斜)表示“事件传输启用”时期，即所有行的事件事务是从底行到顶行执行的，如斜线区域的倾斜所示。斜线区域的范围从底行到顶行，包括由“R.O.”表示的矩形后面的区域。如图9底部的双向箭头所示，在“事件传输启用”时期选择顶行之后和在下一个“事件传输启用”时期选择顶行之前检测到的事件被分配时间戳“N+1”。
如图9所示，在“事件传输启用”时期内扫描每个像素的事件检测状态。通常，像素的状态可以用1位或2位表示。因此，可以在短时间内扫描所有行。
根据本实施例，关闭行扫描器可以抑制大环路电流的产生，并且即使在噪声敏感期，也可以在抑制干扰的情况下运行异步操作。
在本发明实施例中，在n条线的基于帧的读出的H-blank(ADC时期的消隐时间)中获取事件数据，并且可以将串扰噪声降低到基于帧的图像的ADC结果。
现有技术提出了一种用于获取基于帧的图像和基于事件的图像的混合像素结构，并提供了一种基于ADC操作周期的串扰缓解技术。另一方面，本发明实施例提供了用于扩展涉及异步操作的系统的噪声减轻系统的技术，如基于事件的视觉传感器。本发明实施例的有益效果可以概括如下：可以解决同步系统和异步系统(例如基于帧的图像和基于事件的视觉的堆叠混合像素)之间的串扰噪声的技术问题。本发明实施例提供了事件检测通信和基于帧的图像的A/D转换的替代操作。本发明实施例的技术效果是，可以在基于帧的图像中始终没有串扰噪声地运行事件检测。
上文公开的仅仅是本发明的示例性实施例，当然并不旨在限制本发明的保护范围。本领域普通技术人员可以理解，实现上述实施例的全部或部分过程以及根据本发明的权利要求所做的等效修改都应属于本发明的范围。
Claims (12)
1.一种与电路一起用于同步操作的基于事件的视觉传感器的驱动方法，其特征在于，包括：
在整个同步操作期间检测作为光照度变化的事件，但基于事件的像素电路检测到所述事件并复位的时期除外；
当读出事件数据时，在所述同步操作的一部分期间读取所述事件的信息；
在所述同步操作的另一部分期间，暂停所述基于事件的像素电路和所述基于事件的视觉传感器的外围电路之间为了读取所述事件信息的通信。
2.根据权利要求1所述的方法，其特征在于，所述基于事件的像素电路和所述外围电路之间的所述通信是通过断开行线和列线与所述外围电路的连接而暂停的。
3.根据权利要求1所述的方法，其特征在于，所述基于事件的像素电路和所述外围电路之间的所述通信是通过关断所述外围电路而暂停的。
4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：根据用于驱动所述同步操作的时钟为所述事件数据分配时间戳。
5.根据权利要求4所述的方法，其特征在于，所述时间戳根据基于帧的图像传感器的模数转换器(Analog to Digital Converter，ADC)操作的同步信号而递增。
6.根据权利要求1至5中任一项所述的方法，其特征在于，相关双采样在所述同步操作期间执行，所述同步操作的所述一部分开始于第二下降斜率的末端且结束于第一下降斜率的起点。
7.一种与电路一起用于同步操作的基于事件的视觉传感器，其特征在于，包括：
基于事件的像素电路，用于在整个同步操作期间检测作为光照度变化的事件，但基于事件的像素电路检测到所述事件并复位的时期除外；
外围电路，用于在读出事件数据时在所述同步操作的一部分期间读取所述事件的信息，并在所述同步操作的另一部分期间暂停与所述基于事件的像素电路之间为了读取所述事件信息的通信。
8.根据权利要求7所述的基于事件的视觉传感器，其特征在于，与所述基于事件的像素电路的所述通信是通过断开行线和列线与所述外围电路的连接而暂停的。
9.根据权利要求7所述的方法，其特征在于，与所述基于事件的像素电路的所述通信是通过关断所述外围电路而暂停的。
10.根据权利要求7至9中任一项所述的方法，其特征在于，所述外围电路还用于：根据用于驱动所述同步操作的时钟为所述事件数据分配时间戳。
11.根据权利要求10所述的方法，其特征在于，所述时间戳根据基于帧的图像传感器的模数转换器(Analog to Digital Converter，ADC)操作的同步信号而递增。
12.根据权利要求7至11中任一项所述的方法，其特征在于，相关双采样在所述同步操作期间执行，所述同步操作的所述一部分开始于第二下降斜率的末端且结束于第一下降斜率的起点。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/118673 WO2023039784A1 (en) | 2021-09-16 | 2021-09-16 | Method and event-based vision sensor for acquiring event-based image during blanking time of frame-based image read-out |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117957853A true CN117957853A (zh) | 2024-04-30 |
Family
ID=85602274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180102414.3A Pending CN117957853A (zh) | 2021-09-16 | 2021-09-16 | 用于在基于帧的图像读出的消隐时间内获取基于事件的图像的方法和基于事件的视觉传感器 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117957853A (zh) |
| WO (1) | WO2023039784A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT504582B1 (de) * | 2006-11-23 | 2008-12-15 | Arc Austrian Res Centers Gmbh | Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor |
| JP2020072317A (ja) * | 2018-10-30 | 2020-05-07 | ソニーセミコンダクタソリューションズ株式会社 | センサ及び制御方法 |
| US11089191B2 (en) * | 2018-12-18 | 2021-08-10 | Sony Semiconductor Solutions Corporation | Image sensor, recording apparatus, and reset method |
| CN115066885A (zh) * | 2020-02-14 | 2022-09-16 | 普罗费塞公司 | 从基于事件的图像传感器和像素电路的阵列读出事件 |
| CN113365004B (zh) * | 2021-06-07 | 2022-03-29 | 豪威芯仑传感器(上海)有限公司 | 一种像素采集电路及图像传感器 |
-
2021
- 2021-09-16 WO PCT/CN2021/118673 patent/WO2023039784A1/en active Application Filing
- 2021-09-16 CN CN202180102414.3A patent/CN117957853A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023039784A1 (en) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594973B2 (en) | Conditional-reset, multi-bit read-out image sensor | |
| CN100515050C (zh) | 固态图像拾取装置及其驱动方法和成像设备 | |
| US11258977B2 (en) | Image sensor readout method and architecture | |
| KR101186734B1 (ko) | 고체 촬상 장치, 카메라 및 그 구동 방법 | |
| EP2832090B1 (en) | Cmos image sensors implementing full frame digital correlated double sampling with global shutter | |
| US20090167915A1 (en) | Solid-state imaging device and driving method of the same | |
| US20180226962A1 (en) | Comparator, solid-state imaging device, electronic apparatus, and driving method | |
| US20150237285A1 (en) | Comparator, solid-state imaging device, electronic apparatus, and driving method | |
| US20170054931A1 (en) | Readout circuitry to mitigate column fixed pattern noise of an image sensor | |
| KR100284309B1 (ko) | 이미지 센서에서의 리셋 전압을 자동으로 조절하기 위한 리셋전압 조절 장치 | |
| KR100284304B1 (ko) | 씨모스 이미지 센서 및 그 구동 방법 | |
| EP3917134A1 (en) | Image sensor with a plurality of super-pixels | |
| US10033956B2 (en) | Image sensor | |
| JP4916517B2 (ja) | 傾斜付き転送ゲート・クロックを使用するａ／ｄコンバータ | |
| CN208987026U (zh) | 图像传感器 | |
| CN103179356A (zh) | 固态图像拍摄装置、其驱动方法以及电子设备 | |
| US11089191B2 (en) | Image sensor, recording apparatus, and reset method | |
| EP3731516B1 (en) | Delta vision sensor | |
| CN111447385A (zh) | 全局快门图像传感器像素结构及其信号采样读取方法 | |
| US9712766B2 (en) | Signal processing device and method, imaging device and solid state imaging element | |
| EP3871407B1 (en) | Ultra-high dynamic range cmos sensor | |
| EP2773099B1 (en) | Image pickup apparatus, driving method for image pickup apparatus, image pickup system, and driving method for image pickup system | |
| CN117957853A (zh) | 用于在基于帧的图像读出的消隐时间内获取基于事件的图像的方法和基于事件的视觉传感器 | |
| US20100033601A1 (en) | Solid-state imaging device with a sensor core unit and method of driving the same | |
| US20230139066A1 (en) | Image sensing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |