CN110192387A - 用于基于事件的视觉传感器的数据速率控制 - Google Patents

用于基于事件的视觉传感器的数据速率控制 Download PDF

Info

Publication number
CN110192387A
CN110192387A CN201780081497.6A CN201780081497A CN110192387A CN 110192387 A CN110192387 A CN 110192387A CN 201780081497 A CN201780081497 A CN 201780081497A CN 110192387 A CN110192387 A CN 110192387A
Authority
CN
China
Prior art keywords
event
pixel
detector
threshold value
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081497.6A
Other languages
English (en)
Other versions
CN110192387B (zh
Inventor
拉斐尔·贝尔纳
克里斯蒂安·布兰德利
马西莫·赞诺尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Advanced Visual Sensing AG
Original Assignee
Incetnes Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Incetnes Stock Co filed Critical Incetnes Stock Co
Publication of CN110192387A publication Critical patent/CN110192387A/zh
Application granted granted Critical
Publication of CN110192387B publication Critical patent/CN110192387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J1/46—Electric circuits using a capacitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/004—Error avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88—Monitoring involving counting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Studio Devices (AREA)

Abstract

在动态视觉传感器(DVS)或变化检测传感器中，芯片或传感器被配置为控制或调制事件速率。例如，该控制可以用于保持事件速率接近期望速率或在期望的界限内。通过改变开启事件和/或关闭事件阈值来使传感器的配置适应场景，允许具有必要的数据量，但不超过必要的数据量，使得整个系统尽可能获得关于其状态的信息。

Description

用于基于事件的视觉传感器的数据速率控制
相关申请
本申请要求2016年12月30日提交的瑞士临时专利申请号CH20160001764和2016年12月30日提交的瑞士临时专利申请号CH20160001765的优先权，它们的全部内容通过引用并入本申请。
背景技术
当今机器视觉主要基于传统照相机及其相关联的基于帧的图像传感器。对于一些机器视觉任务，例如物体识别，这些传统的基于帧的照相机非常适合。然而，对于其他任务，例如跟踪或位置和运动估计，传统的图像传感器具有缺点。
主要的缺点是，传统的照相机产生大量的冗余和不必要的数据，这些数据必须被捕获、通信和处理。这种高数据负载通过降低时间分辨率来减缓反应时间，导致功率消耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器具有有限的动态范围、较差的低光性能和运动模糊。
这些缺点是由于数据被捕获为静止图像(帧)的序列而产生的。在某些情况下，将动态场景编码为静止图像对于产生漂亮的图像和电影是有用的，但对于数据处理不是最佳的，但是这对于许多机器视觉使用来说并不那么重要。
使用传统照相机的传统计算机视觉系统通常比较顺序图像帧之间的特征用于目标识别。为了估计移动系统的位置和方向并推断周围世界的三维地图，比较两个顺序图像，它们部分重叠，但在不同的时间和不同的姿态下拍摄。为了推断两帧之间发生的运动，必须在两个图像上匹配特征视觉地标(关键点或其他视觉特征)。在两个图像中找到彼此对应的这些点对被称为解决“对应问题”。
解决对应问题需要大量的处理能力。为了检测地标，可能必须搜索图像中的每一个像素以寻找个性特征(角、弧度、边缘等)。然后对像素及其周围的像素邻域进行分组以表征所谓的特征描述符，这些特征描述符随后用于匹配帧之间的特征并由此建立对应点对。这是计算密集型的。直接比较像素强度的直接方法在计算上更加复杂。
另一方面，所谓的动态视觉传感器(DVS)或基于事件的变化检测传感器是克服基于帧的编码的局限性的传感器。通过使用像素内数据压缩，数据冗余被移除，并且实现高时间分辨率、低延迟、低功耗、具有很少运动模糊的高动态范围。因此，DVS特别适合于太阳能或电池供电的压缩感测或移动机器视觉应用，其中系统的位置必须被估计并且由于电池容量有限而处理功率受限。
DVS在本地对视觉信息进行预处理。代替产生清晰图像，DVS产生用于计算机应用的智能数据。虽然传统的图像传感器捕获电影作为一系列静止图像，但DVS检测并仅传输场景中的变化的位置。因此，它比传统照相机更有效地编码视觉信息，因为它编码像素内数据压缩。具体地，DVS不是将帧编码为图像数据，而是检测变化并将这些变化编码为变化事件。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续跟踪视觉特征，从而克服对应问题。此外，DVS的架构允许高动态范围和良好的低光性能。
发明内容
DVS或变化检测传感器的一般特性是输出数据速率是可变的，因为事件速率取决于传感器正在观察的场景以及传感器配置。
要从传感器读出的变化事件的可变量可以在传感器和系统级上提出问题，特别是如果要读出的事件多于处理器可以实时处理的事件。
如果不能处理事件，则丢弃这些事件，导致数据丢失，因此系统丢失关于其状态(例如关于其移动和位置)的信息。在变化检测传感器的情况下，例如，结果可能是传感器将错过在其像素场的一部分中发生的事件。
将传感器的配置适配到场景允许具有尽可能多的必要数据但不是太多的数据，使得整个系统获得尽可能多的关于其状态的信息。另一方面，可以基于传感器的状态来控制事件的数量。例如，为了降低功率，可能期望减少诸如在睡眠周期期间的事件的数量，然后增加在正常操作模式期间的事件的数量。
这里提出的系统改变芯片或传感器配置以控制或调制事件速率。例如，该控制可以用于保持事件速率接近期望速率或在期望的界限内。
然而，在给定时间片段期间产生的事件量只能在输出和计数它们之后确定。这里，一些实施例使用事件计数估计器，其允许在读取它们之前对待处理事件的数量进行粗略估计。
通过对待处理的事件数量的粗略估计，系统可以决定它是否能够处理数据并读出它们，或者如果事件太多(或太少)，系统可以用较高的阈值重做变化检测，从而得到较少的事件(或用较低的阈值重做比较并得到更多的事件)。
一般来说，根据一个方面，本发明具有变化检测传感器的特征。所述传感器包括像素阵列，所述像素阵列包括检测光的像素和用于检测与所述像素接收的光相关联的事件的事件检测器。根据本发明，提供用于评估事件的事件速率检测器。然后，控制器基于事件速率检测器改变像素如何检测事件。
在一个实施例中，事件速率检测器包括计数器，用于通过计数来自事件检测器的事件来评估事件。
在另一实施例中，事件速率检测器包括用于通过估计事件来评估事件的事件估计器。这可以通过分析基于注册事件的事件检测器的数量的模拟信号来实现。
优选地，传感器包括阈值生成电路，用于设置由事件检测器施加的阈值。然后，控制器响应于事件速率检测器提供的评估而改变提供的阈值。
优选地，控制器基于像素阵列中的开启事件和关闭事件分别设置开启事件和关闭事件的阈值。
在当前实施例中，每个像素包括事件检测器中的一个的存储电容器，用于存储当像素被复位时对应于接收光的电荷。每个像素还可以包括事件检测器中的一个或多个比较器，用于将接收光的变化与一个或多个阈值进行比较以检测事件。
在其它实施例中，比较器位于读出电路中。
一般来说，根据另一方面，本发明具有变化检测传感器的操作方法的特征。该方法包括检测与像素阵列中的像素接收的光相关联的事件，评估来自像素阵列的事件，并且基于来自像素阵列的事件的评估改变像素如何检测事件。
现在将参照附图更详细地描述本发明的上述特征和其它特征，这些特征包括各种新颖的构造细节和零件组合以及其它优点，并且在权利要求中指出。应理解，体现本发明的特定方法和装置通过图示而不是作为本发明的限制示出。在不脱离本发明的范围的情况下，本发明的原理和特征可用于各种和许多实施例中。
附图说明
在附图中，附图标记在不同视图中指代相同的部分。附图不一定成比例；相反，为了说明本发明的原理，有的地方着重处理。附图中：
图1A示出了包括事件速率控制的基于事件的变化检测传感器的框图。
图1B示出了可在像素阵列110中使用的变化检测像素的一个示例的电路图。
图2示出作为周期性复位的事件计数器实现的事件速率检测器200的一个实施例的框图。
图3A和3B示出了用于基于事件速率检测器控制阈值生成电路的控制器120的操作的流程图。
图4示出了根据另一实施例的基于事件的变化检测传感器的示意图，其生成事件速率估计。
图5示出了根据再一实施例的基于事件的变化检测传感器的示意图，其生成事件速率估计。
图6示出了根据前述实施例的电流ADC 212的可能实现的电路图。
图7示出了控制器120的可能实现的状态图。
图8示出了基本阈值生成电路的框图。
具体实施方式
图1A示出了具有事件速率控制的基于事件的变化检测传感器100的框图。
通常，变化检测传感器100包括与本系统特别相关的五个元件：
变化检测像素阵列110；
事件速率检测器200；
控制器120；
阈值生成电路130；和
读出电路140。
像素阵列110产生可变的数据量：变化事件。事件速率检测器200周期性地对事件进行评估，比如对变化事件进行计数或估计。然后，控制器120调整传感器配置，使得在下一时间步骤中，像素阵列110产生更接近期望速率的变化事件量。
像素阵列可以是任何变化检测像素阵列，例如在Lichtsteiner等人的申请号为US2008/0013573，标题为“用于检测依赖于时间的图像数据的光阵列”的美国专利申请描述的那样，其通过参考并入本申请；或专利号为15/858427，标题为“动态视觉传感器结构”，2017年12月29日提交的美国专利(以下称为Berner专利文件，该文件通过该参考全文并入本文)；或者如J.Kramer的“具有事件驱动的异步读出的开/关瞬态成像器”(IEEE国际电路和系统专题讨论会，2002，卷2，第165-168页，2002)中所公开的那些，或者可替换地，是空间对比度检测像素，例如Rudit等人的“用于图像对比度和方向提取的128x 128像素120-dB动态范围视觉传感器芯片”(IEEE固态电路杂志，卷38，第12号，第2325-2333页，2003年12月)。
图1B是一个可能的变化检测像素112的电路图。
二维阵列110的该示例性像素112包括诸如光电二极管PD的光传感器，其检测或测量入射光并将光强度转换为信号。这里，信号是电流，Iphoto。像素112还具有事件检测器114，该事件检测器114接着确定由光传感器检测的光是否已经有足够的变化，使得已经发生了事件。通过监测当前的Iphoto来实现这一点。
更详细地说，示例性事件检测器114包括感光器电路PRC，该感光器电路PRC随后产生依赖于光强度的感光器信号Vpr。然后，存储电容器C1存储过去的感光信号。
比较器A1将当前感光器信号Vpr和过去感光器信号之间的差与阈值Vb进行比较。该阈值Vb由阈值生成电路130提供。
优选地，比较器A1或一对比较器基于开启事件阈值检测开启事件，并且基于关闭事件阈值检测关闭事件。开启事件是由光传感器接收的光的增加的特性，而关闭事件是由光传感器接收的光的减少的特性。如果使用单个比较器，那么在时间上串行地提供开启事件阈值和关闭事件阈值作为阈值Vb。
该比较器A1可以在每个像素中，或在像素的子集(例如列)之间共享。在一种情况下，比较器被共享并位于读出电路140中。在Berner专利文件中公开了这种结构的不同示例。
然而，在优选实施例中，比较器A1将是像素112的一部分，其中每个像素具有一个或多个专用比较器A1。
存储器50存储事件。基于来自控制器120的采样信号，从比较器的输出Vcomp中取出事件。存储器可以是采样电路(例如开关和寄生或显式电容器)或数字存储器电路(锁存器或触发器)。在一个实施例中，存储器将是采样电路，并且每个像素将具有两个存储器，一个用于存储任何开启事件，一个用于存储任何关闭事件。存储器在一个或多个线路Evt上提供输出。
条件复位电路R1基于存储的比较器输出的状态和由控制器120施加的复位信号Global Reset的组合提供条件复位。
像素电路112和控制器120如下操作。
由光传感器PD接收的光强度的变化将转换为感光信号Vpr的变化。当复位电路R1不导通时，Vpr中的变化也将反映在到比较器A1的反相输入端(-)处的电压Vdiff中。这是因为存储电容器C1上的电压保持恒定。
在由控制器120选择的时候，事件检测器114的比较器A1将存储电容器C1(Vdiff)的第二端处的电压与施加到比较器A1的非反相输入(+)的阈值电压Vb(来自阈值生成电路130)进行比较。
控制器120操作存储器50以存储比较器输出Vcomp。存储器50通常被实现为像素电路112的一部分，如图所示。
然而，在其他实施例中，存储器50被实现为读出电路140的一部分(外围电路，像素阵列110每一列一个)。
在图示的实施例中，传感器的读出电路140读出阵列110中每个像素112的存储器50。在一个示例中，读出电路140存储阵列中已检测到变化事件的像素的坐标。
如果存储在存储器50中的比较器输出的状态指示光强度(即事件)有足够变化，并且来自控制器120的全局复位信号GlobalReset是有效的，则条件复位电路R1正在导通。这里“AND”表示逻辑AND运算符。在条件复位电路R1处于导通状态时，比较器A1的反相输入端的电压(Vdiff)被复位到已知电平。因此，它将电流感光信号Vpr存储在存储电容器C1上。
事件计数
图2示出事件速率检测器200的一个实施例。
这里的事件速率检测器200被实现为由控制器120周期性地复位的计数器210。该计数器基于读出电路140读出的事件递增。事件计数被提供给控制器120。当需要新计数时，计数器210又由控制器120复位。
在一个示例中，事件速率检测器200在给定时间窗口期间对传感器阵列110输出的事件数进行计数。这里，这被完成，使得读出电路每当从像素阵列110读出事件时向计数器210发送增量信号。
在一个具体示例中，事件速率检测器200在给定时间窗口期间对传感器阵列110输出的开启事件和传感器阵列110输出的关闭事件进行计数。这优选地使用计数器210内的单独的开启事件计数器和关闭事件计数器来实现。
图3A示出了根据一个实施例的用于基于事件速率检测器200控制阈值生成电路130的控制器120的操作的流程图。
具体地，在步骤310中，当需要新计数时，由控制器120复位事件速率检测器200的计数器210。
在步骤312中，控制器120读出预定义时间之后的事件计数。
然后，在步骤314中，控制器计算要施加到像素阵列110的事件阈值的变化。在步骤316中，该新阈值被发送到阈值生成电路130。然后，在确定下一组事件时，将阈值作为阈值Vb施加到传感器阵列110的事件检测器114。
图3B示出了根据另一实施例的用于控制事件速率检测器200的控制器120的操作的流程图。
在该实施例中，控制器120在步骤318中等待外部触发，然后在步骤310中重置计数器。在传感器应与外部定时源同步的情况下，该实施例最有用。
事件计数估计器
第二种方法依赖于生成事件速率估计。该方法使用事件速率检测器200内的事件计数估计器。避免必须从阵列读取所有事件以确定事件的数量。相反，这种方法允许在事件被读出或作为读出过程的一部分之前大致估计事件的数量。
图4是根据另一实施例的基于事件的变化检测传感器100的示意图，其生成事件速率估计。
更详细地，事件检测器114位于阵列110的每个像素112中并且是每个像素电路的一部分，以及用于检测入射光的感光器116。每个像素电路112的电流源118仅在该像素中存在事件时被启用。
具体地，如果事件检测器114登记由光传感器116接收的光的变化，例如由于开启事件和/或关闭事件，则事件信号Evt变为活动，其关闭与该像素112相关联的开关117。
将阵列110的所有像素112的电流或分布在传感器100的阵列110的范围内的像素的采样相加并馈送到事件速率检测器200的电流模数转换器(ADC)212。该ADC 212获取电流并将电流的大小转换成数字表示。然后将电流总和的这种数字表示作为检测到的事件的数量的估计提供给控制器120，并且如果在已知的时间段内执行，则表示事件速率。
一般来说，电流源118在像素112之间不会很好地匹配。这意味着电流的总和将不允许对有多少像素有事件待处理进行精确估计，但是它将允许粗略估计。
图5示出了根据再一实施例的基于事件的变化检测传感器的示意图，其生成事件速率估计。
更详细地，每个像素112的光传感器116产生响应并指示由该感光器116检测的瞬时光量的信号。该信息被发送到事件检测器114。
因此，当由感光器116接收的光的变化的量相对于上次复位时大于阈值时，则事件检测器114中的比较器的输出发生变化。通常，将开启事件阈值作为像素阈值(PixelThreshold)提供给像素以区分于开启事件，所述开启事件与感光器116检测到的光量的增加相关联。然后，关闭事件阈值作为Pixel Threshold提供到像素，以区分与感光器检测到的光量的减少相关的关闭事件。
在其它情况下，事件检测器包括两个比较器，接收开启事件阈值以区分开启事件的第一比较器，和接收关闭事件阈值以区分关闭事件的第二比较器。
如果信号Enable evt counter(使能事件计数器)是活动的(因而Disable evtcounter(关闭事件计数器)是非活动的)，则所有的读出线通过开关188的闭合而被短接在一起，并且读出线通过开关190的断开而与列读出电路180断开。通过将所有读出线连接到当前ADC 212，电流将从当前ADC 212流到比较器输出高的并且Evt是有效的所有像素，从而闭合每个像素112中的开关117。此外，由于Enable evt counter是活动的，每行的OR门186将闭合每个像素112中的开关178。因此，总电流将取决于比较器174的输出为高的像素数或信号线Evt为/活动的像素数。
如果信号Enable evt counter是非活动的(因而Disable evt counter是活动的)，如果相应的Readout row select X(读出列选X)是活动的，则像素读出线连接到其相应的列读出电路180。
图6示出了根据前述实施例的电流ADC 212的可能实现的电路图。
相加电流被馈送到具有负反馈配置的电阻R 216的运算放大器A 214。基准电压和在运算放大器的输出端处的电压之间的电压差与输入电流的大小成正比，从而表示待处理事件的数目。
然后将运算放大器的输出端的电压馈送到传统的电压ADC 218，该电压ADC 218可以实现为flash ADC、SAR ADC、sigma-delta ADC等。
在电流到电压的转换之后，可以添加电压采样步骤(在OpAmp 214的输出和电压ADC 218之间)，从而可以在读出像素的同时完成ADC转换，ADC转换可能比较长。一旦ADC转换完成，如果需要，可以停止像素的读出。
控制器120
控制器120最有可能是从传感器100外部输入事件率检测器200和期望事件率(或期望事件率的界限)的数字块，以及可选地是触发输入。控制器120输出用于芯片配置的控制信号(即，输出时间分辨率和阈值到阈值生成电路130)。
控制器120可以实现为传统的P、PI或PID控制器，或者更简单地实现为状态机。
然而，当使用事件速率估计器时，控制器120也可以实现为模拟电路。然后，对该模拟控制器的输入不是数字表示；代替地，图6中运算放大器214的输出电压通常直接馈送到控制器120。
图7是控制器120的状态图。
基于来自事件速率估计器的信令，修改事件阈值以将事件速率保持在期望的界限内。
·事件速率：从事件速率检测器200输入。
·平均速率：常数，最小期望事件速率。
·最大时间速率：常数，最大期望事件速率。
·最小事件阈值：参数，最小阈值设置。
·最大事件阈值：参数，最大阈值设置。
·步骤：参数，在循环的每个通过期间改变事件阈值的步骤。
·事件阈值：馈送到事件产生电路的输出。
·触发器：启动环路的周期性输入信号。
更详细地说，控制器120在状态710中等待触发。当它被接收时，控制器120将由事件速率检测器200提供的事件速率与在状态712中的最小事件速率进行比较。如果事件速率小于最小事件速率，则控制器进入状态716。在状态716中，控制器120将事件阈值与最小事件阈值进行比较；如果小于，则返回到710中的等待状态。另一方面，如果事件阈值大于最小事件阈值，则在状态718中减小事件阈值，并且其返回到等待状态710。
另一方面，如果在状态712中，事件速率大于最小事件速率，则将事件速率与在状态714中的最大事件速率进行比较，如果小于，则控制器120返回等待状态710。另一方面，如果事件速率大于最大事件速率，则在状态720中将事件阈值与的最大事件阈值进行比较。如果在状态720中的事件阈值大于最大事件阈值，则控制器120返回等待状态710。另一方面，如果事件阈值小于最大事件阈值，则在状态722中的事件阈值增加一步并返回等待状态710。
阈值生成电路
对于变化检测像素，例如在Lichtsteiner等人的申请号为US2008/0013573，标题为“用于检测依赖于时间的图像数据的光阵列”的美国专利申请描述的那样，其通过参考并入本申请，事件阈值是阈值电压和放大器偏置电压之间的差。开启阈值电压通常高于偏置电压，而关断阈值电压较低。
基本阈值生成
图8示出基本阈值生成电路，该基本阈值生成电路是一组电压数模转换器(DAC)或电流DAC 810、812，诸如在P.Lichtsteiner、C.Posch和T.Delbruck的“A 128x 128120dB 15μs延时异步时域对比度视觉传感器”(IEEE杂志，固态电路，卷43，第2号，第566-576页，2008年2月)；以及T.Delbruck、R.Berner、P.Lichtsteiner和C.Dualibe的“具有次截止电流能力的32位可配置偏置电流发生器”在2010年IEEE国际电路和系统研讨会的会议上(2010年，第1647–1650页)中公开的那些。具体地，对于810、812、814这组DAC，有一个用于产生比较器偏置电压814，一个用于OnThres电压810，一个用于OffThres电压812。
事件速率和平衡控制
在另一实施例中，传感器100分别计数开启(增加光强度)和关闭(减少光强度)事件。然后，使用开启和关闭事件之间的比率来分别控制开启和关闭阈值。一般地，期望在大的(大于秒)时间窗口上有类似数量的开启事件和关闭事件。
无运动阈值
基于事件的变化检测传感器的属性是，如果场景中没有运动，则它们不生成数据(或非常少的数据)。在这种无运动的情况下，可能不希望改变阈值，因此可以扩展控制器以包括最小事件速率阈值，在该阈值之下，改变EventThreshold输出的控制环路未被激活。
时间分辨率控制
在一些像素设计中，可以改变时间比特率(比较率)。在如在申请号US2008/00135731的美国专利中提出的像素中，可以控制难熔偏压，其允许限制像素可以产生事件的速率。
尽管参照本发明的优选实施例特别示出和描述了本发明，但本领域技术人员将理解，在不脱离所附权利要求书所涵盖的本发明的范围的情况下，可以在本发明中作出形式和细节上的各种改变。

Claims (15)

1.一种变化检测传感器，包括：
像素阵列，包括检测光的像素；
事件检测器，用于检测与所述像素接收的光相关联的事件；
事件速率检测器，用于评估所述事件；和
控制器，用于基于所述事件速率检测器改变所述像素如何检测所述事件。
2.根据权利要求1所述的传感器，其中所述事件速率检测器包括计数器，用于通过对来自所述事件检测器的事件进行计数来评估所述事件。
3.根据权利要求1所述的传感器，其中所述事件速率检测器包括用于通过估计事件来评估所述事件的事件估计器。
4.根据权利要求1所述的传感器，其中所述事件速率检测器通过分析基于注册事件的事件检测器的数目的模拟信号来评估所述事件。
5.根据权利要求1所述的传感器，还包括用于设置由所述事件检测器施加的阈值的阈值生成电路。
6.根据权利要求1所述的传感器，其中所述控制器响应于所述事件速率检测器提供的评估而改变提供的阈值。
7.根据权利要求1所述的传感器，其中所述控制器基于所述像素阵列中的开启事件和关闭事件分别设置开启事件和关闭事件的阈值。
8.根据权利要求1所述的传感器，其中每个像素包括事件检测器中的一个的存储电容器，用于存储当像素被复位时对应于接收光的电荷。
9.根据权利要求1所述的传感器，其中每个像素包括事件检测器中的一个或多个比较器，用于将接收光的变化与一个或多个阈值进行比较以检测事件。
10.根据权利要求1所述的传感器，还包括所述事件检测器的比较器，用于将接收光的变化与一个或多个阈值进行比较以检测所述事件，所述比较器位于读出电路中。
11.一种变化检测传感器的操作方法，所述方法包括：
检测与像素阵列中的像素接收的光相关联的事件；
评估来自所述像素阵列的所述事件；和
基于来自所述像素阵列的所述事件的评估来改变所述像素如何检测所述事件。
12.根据权利要求11所述的方法，其中评估所述事件包括对所述事件进行计数。
13.根据权利要求11所述的方法，其中评估所述事件包括估计所述事件。
14.根据权利要求11所述的方法，还包括：响应于对所述事件的评估，设置由所述事件检测器对所述像素施加的阈值。
15.根据权利要求11所述的方法，还包括基于来自像素阵列的开启事件和关闭事件分别设置开启事件和关闭事件的阈值。
CN201780081497.6A 2016-12-30 2017-12-29 用于基于事件的视觉传感器的数据速率控制 Active CN110192387B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CHCH20160001764 2016-12-30
CH17642016 2016-12-30
CHCH20160001765 2016-12-30
CH17652016 2016-12-30
PCT/IB2017/058528 WO2018122800A1 (en) 2016-12-30 2017-12-29 Data rate control for event-based vision sensor

Publications (2)

Publication Number Publication Date
CN110192387A true CN110192387A (zh) 2019-08-30
CN110192387B CN110192387B (zh) 2022-06-17

Family

ID=61094545

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780081497.6A Active CN110192387B (zh) 2016-12-30 2017-12-29 用于基于事件的视觉传感器的数据速率控制
CN202210792148.8A Pending CN115037896A (zh) 2016-12-30 2017-12-29 动态视觉传感器结构
CN201780081421.3A Active CN110169050B (zh) 2016-12-30 2017-12-29 动态视觉传感器结构

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210792148.8A Pending CN115037896A (zh) 2016-12-30 2017-12-29 动态视觉传感器结构
CN201780081421.3A Active CN110169050B (zh) 2016-12-30 2017-12-29 动态视觉传感器结构

Country Status (7)

Country Link
US (9) US10715750B2 (zh)
EP (3) EP3869791A1 (zh)
JP (6) JP7074954B2 (zh)
KR (4) KR20230087615A (zh)
CN (3) CN110192387B (zh)
DE (1) DE202017007535U1 (zh)
WO (2) WO2018122800A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261297A (zh) * 2020-10-22 2021-01-22 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
CN112738432A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
CN114581490A (zh) * 2022-04-29 2022-06-03 北京大学 一种场景设置方法、装置、控制设备及可读存储介质

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐
JP2018125599A (ja) * 2017-01-30 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器、及び駆動方法
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
CN112262568B (zh) 2018-03-14 2024-03-29 索尼高级视觉传感股份公司 具有直接存储器控制的基于事件的视觉传感器
US10923520B2 (en) 2018-03-14 2021-02-16 Sony Advanced Visual Sensing Ag Event-based vision sensor manufactured with 3D-IC technology
TWI815841B (zh) * 2018-03-15 2023-09-21 日商尼康股份有限公司 控制裝置、控制方法以及程式
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
US11368645B2 (en) * 2018-06-27 2022-06-21 Prophesee Sa Image sensor with a plurality of super-pixels
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
CN109842767B (zh) * 2019-01-09 2020-07-14 上海芯仑光电科技有限公司 一种防闪光电路组件及图像传感器
US11526209B2 (en) 2019-01-21 2022-12-13 Sony Advanced Visual Sensing Ag Transparent smartphone
CN109842768B (zh) * 2019-01-29 2020-05-15 上海芯仑光电科技有限公司 一种像素采集电路及图像传感器
EP3690736A1 (en) * 2019-01-30 2020-08-05 Prophesee Method of processing information from an event-based sensor
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
JP2020136811A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
KR20200115881A (ko) 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
TWI831962B (zh) * 2019-04-26 2024-02-11 日商索尼半導體解決方案公司 事件檢測裝置、具備事件檢測裝置之系統及事件檢測方法
US20220224853A1 (en) 2019-05-10 2022-07-14 Sony Advanced Visual Sensing Ag NMOS Comparator for Image Sensor Pixel
EP3967028B1 (en) 2019-05-10 2023-11-01 Sony Advanced Visual Sensing AG Event-based vision sensor using on/off event and grayscale detection ramps
WO2020229981A1 (en) 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Dynamic vision sensor with in-pixel digital change detection
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN114026844A (zh) 2019-07-01 2022-02-08 索尼高级视觉传感股份公司 基于事件的视觉传感器的动态感兴趣区域（roi）
KR20210006106A (ko) 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备
JP7101721B2 (ja) * 2019-08-01 2022-07-15 シャープ株式会社 固体撮像素子
JP7451110B2 (ja) * 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
WO2021044299A1 (en) 2019-09-04 2021-03-11 Sony Advanced Visual Sensing Ag Delay equalization in event-based vision sensors
JP2021048554A (ja) 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
KR20210077840A (ko) * 2019-12-17 2021-06-28 삼성전자주식회사 다이나믹 비전 센서 시스템
WO2021127809A1 (en) * 2019-12-23 2021-07-01 Huawei Technologies Co., Ltd. Imaging apparatus and imaging method
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20210102511A (ko) * 2020-02-10 2021-08-20 삼성전자주식회사 버퍼를 포함하는 동적 비전 센서 장치
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
FR3109667B1 (fr) * 2020-04-28 2024-04-05 Commissariat Energie Atomique Capteur d’image piloté par évènements et son procédé de lecture
WO2021242941A1 (en) 2020-05-28 2021-12-02 Apple Inc. Sensor-based user detection for electronic devices
WO2022009720A1 (ja) * 2020-07-09 2022-01-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、撮像方法および電子機器
ES2947688T3 (es) 2020-08-14 2023-08-16 Alpsentek Gmbh Sensor de imágenes con circuito de píxeles configurable y método
WO2022047651A1 (zh) * 2020-09-02 2022-03-10 华为技术有限公司 视觉传感器芯片及其操作方法和电子设备
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
WO2022093123A1 (en) * 2020-10-29 2022-05-05 Nanyang Technological University A computer vision sensor for efficient real time object detection under varying lighting conditions
TWI795870B (zh) * 2020-11-06 2023-03-11 大陸商廣州印芯半導體技術有限公司 影像感測器以及影像感測方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
KR20220076943A (ko) 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
WO2022143462A1 (zh) * 2020-12-30 2022-07-07 上海集成电路研发中心有限公司 图像信号检测电路、控制方法以及运动检测方法
KR102445008B1 (ko) 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
KR20220108608A (ko) 2021-01-27 2022-08-03 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社ＳｅｎｓＡＩ 固体撮像装置、及び固体撮像装置の駆動方法
CN113132656B (zh) * 2021-04-20 2022-01-28 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113365004B (zh) * 2021-06-07 2022-03-29 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113518159B (zh) * 2021-06-08 2022-11-01 天津大学 同步读出的大阵列动态视觉传感器及读出方法
FR3125666A1 (fr) * 2021-07-26 2023-01-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Architecture de lecture à base de drapeau pour un réseau matriciel de pixels événementiels
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels
KR20230018044A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 다이나믹 비전 센서의 시간 지연을 보상하기 위한 전자 장치
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN117223293A (zh) * 2022-02-10 2023-12-12 华为技术有限公司 一种高速、低功耗像素偏置电路
CN114422725B (zh) * 2022-03-15 2022-07-01 深圳锐视智芯科技有限公司 一种图像输出方法、图像传感器及其应用
WO2023186468A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Image sensor including pixel circuits for event detection connected to a column signal line
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
US11848173B1 (en) * 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350581A1 (en) * 2012-12-21 2015-12-03 Trixell Method for reading an imaging device

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH176516A (de) 1933-10-01 1935-04-15 Enderlin Charles Vorrichtung an Fahrrädern zur Ermöglichung der Unterstützung des Fussantriebes durch Handantrieb.
CH176416A (de) 1933-10-23 1935-04-15 Fa Fr Speidel Karabinerhaken, insbesondere für Uhrarmbänder.
US5107103A (en) 1990-01-26 1992-04-21 Carnegie-Mellon University Integrated circuit having at least a sensor and a processor thereon
DE69218755T2 (de) 1992-01-24 1997-07-10 Rockwell International Corp Ausleseverstärker für starrende Infrarotbildebenenanlage
US5488415A (en) 1993-07-09 1996-01-30 Olympus Optical Co., Ltd. Solid-state image pickup device having a photoelectric conversion detection cell with high sensitivity
CA2242622A1 (en) 1997-07-10 1999-01-10 Universite Laval Integrated motion vision sensor
US6624849B1 (en) 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
DE10125307A1 (de) 2000-10-07 2002-08-01 Silicon Vision Ag Optischer Sensor
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
DE10301598A1 (de) 2002-09-13 2004-03-25 Conti Temic Microelectronic Gmbh Photodetektor-Anordnung und Verfahren zur Störlichtkompensation
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
EP1657910A1 (en) 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US7821558B2 (en) * 2005-11-15 2010-10-26 Stmicroelectronics S.A. Image sensor with circuitry for detecting each pixel receiving a given light intensity and providing addresses thereof
JP2007166581A (ja) * 2005-11-16 2007-06-28 Matsushita Electric Ind Co Ltd 高速撮影用固体撮像装置
WO2007085942A2 (en) 2006-01-25 2007-08-02 Melexis Nv Image sensor with a photodiode readout circuit
US20070222879A1 (en) * 2006-03-24 2007-09-27 Intel Corporation Sub-ranging pixel sample and hold
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8026960B2 (en) * 2008-04-29 2011-09-27 Xerox Corporation Image sensor and associated readout system
WO2010032842A1 (ja) * 2008-09-19 2010-03-25 国立大学法人静岡大学 情報取得装置及び光通信システム
US8436288B2 (en) * 2009-04-24 2013-05-07 Quantum Semiconductor Llc Image sensors with photo-current mode and solar cell operation
WO2012093387A2 (en) * 2011-01-09 2012-07-12 Emza Visual Sense Ltd. Pixel design with temporal analysis capabilities for scene interpretation
US8890052B2 (en) * 2011-05-03 2014-11-18 Raytheon Company Shift register with two-phase non-overlapping clocks
FR2977055B1 (fr) 2011-06-21 2013-07-12 Astrium Sas Detecteur a fonction d'imagerie selective et procede de detection d'eclairs
US9521338B2 (en) * 2011-11-08 2016-12-13 Rambus Inc. Image sensor sampled at non-uniform intervals
WO2013092666A1 (en) 2011-12-19 2013-06-27 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP5973758B2 (ja) * 2012-03-22 2016-08-23 オリンパス株式会社 固体撮像装置
WO2013158965A1 (en) * 2012-04-19 2013-10-24 Raytheon Company Repartitioned digital pixel
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
JP6145655B2 (ja) * 2012-12-18 2017-06-14 パナソニックＩｐマネジメント株式会社 半導体光検出器
KR102009165B1 (ko) 2013-01-24 2019-10-21 삼성전자 주식회사 이미지 센서, 멀티 칩 패키지, 및 전자 장치
JP5925713B2 (ja) * 2013-02-26 2016-05-25 株式会社東芝 固体撮像装置
CN103259985B (zh) 2013-05-17 2016-08-17 昆山锐芯微电子有限公司 Cmos图像传感器、像素单元及其控制方法
KR102102702B1 (ko) * 2013-06-19 2020-04-21 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
KR102136055B1 (ko) 2014-01-08 2020-07-21 삼성전자 주식회사 오픈-루프 증폭기를 포함하는 비전 센서 칩, 이의 동작 방법, 및 이를 포함하는 데이터 처리 시스템
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9846677B2 (en) 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102357680B1 (ko) 2014-11-17 2022-02-03 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치
KR102399017B1 (ko) 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
US10498977B2 (en) 2016-03-03 2019-12-03 Insightness Ag Event-based vision sensor
US10652489B2 (en) 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
WO2017174579A1 (en) 2016-04-04 2017-10-12 Chronocam Sample and hold based temporal contrast vision sensor
KR20230087615A (ko) * 2016-12-30 2023-06-16 소니 어드밴스드 비주얼 센싱 아게 동적 비전 센서 아키텍쳐

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350581A1 (en) * 2012-12-21 2015-12-03 Trixell Method for reading an imaging device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K.AIZAWA ET.: "On Sensor Image Compresion", 《IEEE TRANSACTIONS ON CIRCUIT AND SYSTEM FOR VIDEO TECHNOLOGY, VOL. 7》 *
MEHDI HABIBI: "A Low Power Smart CMOS Image Sensor for Surveillance Applications", 《IEEE 978-1-4244-9708-9/10， 2010， IDS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738432A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
CN112738432B (zh) * 2019-10-28 2022-06-21 天津大学青岛海洋技术研究院 一种事件阈值自适应型动态视觉传感器
CN112261297A (zh) * 2020-10-22 2021-01-22 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
CN114581490A (zh) * 2022-04-29 2022-06-03 北京大学 一种场景设置方法、装置、控制设备及可读存储介质
CN114581490B (zh) * 2022-04-29 2022-09-20 北京大学 一种场景设置方法、装置、控制设备及可读存储介质

Also Published As

Publication number Publication date
EP3869791A1 (en) 2021-08-25
DE202017007535U1 (de) 2022-11-03
KR102541757B1 (ko) 2023-06-13
KR20230087615A (ko) 2023-06-16
EP3563564B1 (en) 2021-12-15
WO2018122800A1 (en) 2018-07-05
JP2022076485A (ja) 2022-05-19
US11711631B2 (en) 2023-07-25
JP7074955B2 (ja) 2022-05-25
EP3563563B1 (en) 2020-12-16
US10715750B2 (en) 2020-07-14
US11431937B2 (en) 2022-08-30
JP2020505801A (ja) 2020-02-20
US20200221040A1 (en) 2020-07-09
JP2020503752A (ja) 2020-01-30
JP7074954B2 (ja) 2022-05-25
KR20190102021A (ko) 2019-09-02
US20230328406A1 (en) 2023-10-12
CN110192387B (zh) 2022-06-17
US11076114B2 (en) 2021-07-27
JP2022075789A (ja) 2022-05-18
JP2023182811A (ja) 2023-12-26
US20180191972A1 (en) 2018-07-05
JP7442560B2 (ja) 2024-03-04
US20180189959A1 (en) 2018-07-05
US10567679B2 (en) 2020-02-18
US11991466B2 (en) 2024-05-21
US20180191982A1 (en) 2018-07-05
CN110169050A (zh) 2019-08-23
WO2018122798A1 (en) 2018-07-05
US11336859B2 (en) 2022-05-17
EP3563563A1 (en) 2019-11-06
US20200288073A1 (en) 2020-09-10
US20210337151A1 (en) 2021-10-28
JP7374242B2 (ja) 2023-11-06
EP3563564A1 (en) 2019-11-06
CN115037896A (zh) 2022-09-09
JP2024056930A (ja) 2024-04-23
KR20220157514A (ko) 2022-11-29
KR102467771B1 (ko) 2022-11-16
US20200154064A1 (en) 2020-05-14
US10602083B2 (en) 2020-03-24
CN110169050B (zh) 2022-07-26
US20220394205A1 (en) 2022-12-08
KR20190102223A (ko) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110192387A (zh) 用于基于事件的视觉传感器的数据速率控制
KR102373088B1 (ko) 이벤트 기반의 비전 센서
CN105144699A (zh) 阈值监测的有条件重置的图像传感器
US10084976B2 (en) Flux rate unit cell focal plane array
US20220264035A1 (en) Dynamic Region of Interest (ROI) for Event-Based Vision Sensors
CN117376721A (zh) 传感器像素单元、信号处理电路和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220602

Address after: Swiss Shi Lilun

Applicant after: Sony advanced visual sensing

Address before: Zurich, SUI

Applicant before: INSIGHTNESS AG

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant