CN104272723A - 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列 - Google Patents

特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列 Download PDF

Info

Publication number
CN104272723A
CN104272723A CN201280062732.2A CN201280062732A CN104272723A CN 104272723 A CN104272723 A CN 104272723A CN 201280062732 A CN201280062732 A CN 201280062732A CN 104272723 A CN104272723 A CN 104272723A
Authority
CN
China
Prior art keywords
unit
brightness
photovoltaic array
photoelectric current
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280062732.2A
Other languages
English (en)
Other versions
CN104272723B (zh
Inventor
托拜厄斯·德尔布鲁克
拉斐尔·伯纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universitaet Zuerich
Original Assignee
Universitaet Zuerich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Zuerich filed Critical Universitaet Zuerich
Publication of CN104272723A publication Critical patent/CN104272723A/zh
Application granted granted Critical
Publication of CN104272723B publication Critical patent/CN104272723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0238—Details making use of sensor-related data, e.g. for identification of sensor or optical parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/4473—Phototransistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种光电阵列(1)，其包括：多个单元(10)，其中所述单元(10)的每一个包括装置(20)，所述装置(20)被设置为生成与射在所述各单元(10)上的光的强度(L)成比例的光电流(I)，其中所述单元(10)的每一个包括连接至用于生成所述光电流(I)的所述各装置(20)的变化检测电路(100)，该变化检测电路(100)被设置为仅当变化事件(30)发生时生成输出信号，在所述变化事件(30)发生时由于来自所述各单元(10)的之前的变化事件，所述强度(L)变化一阈值量(T、T’)。根据本发明，用于生成所述光电流(I)的所述装置(20)还被用来估计作为在所述各单元(10)的光的亮度的测量值的所述光电流(I)的大小。

Description

特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
技术领域
本发明涉及一种根据权利要求1的前序部分的特别用于检测时变图像数据的光电阵列，即光敏元件的阵列。
背景技术
这样的光电阵列通常包括多个单元(例如，单元阵列)，每一个单元(也称为像素)具有用于根据各单元的光强度生成信号(例如，光电流)的装置(例如，光电二极管或光电晶体管)。单元阵列可以是单元的拓扑一维或二维阵列，其可以具有或者不具有矩形边界。各单元还包括变化检测电路，其可以按照US 7728269 B2中详细描述的细节构造(其中变化检测电路特别通过电压缓冲器与包括用于生成光电流的所述装置的光电传感器电路绝缘)。将这样的变化检测电路设置为异步地发出变化事件，该变化事件是由于来自像素(单元)的上一次的变化事件使亮度变化一阈值量的信号。因为这些事件特别表示射到各单元的入射光的对数强度变化，这些事件表示“时间衬比(temporal contrast)”。
例如US 2003/0015647公开的使用光电阵列的实时人工视觉通常被限于对光电阵列进行取样的帧频。为了看出快速变化的事物，必须使用高帧频，然后这样的光电阵列生成大量的冗余数据，该冗余数据需要强大的和昂贵的后处理。
另一方面，通过引证的方式并入本文的US 7728269 B2中公开的技术教导使视觉传感器低延时地且大幅减少冗余地对场景反射比变化作出反应。但是，其不适于感测静态场景。
发明内容
因此，本发明的基本问题是提供减少上述缺点的光电阵列并由此更适合实时人工视觉。
该问题由具有权利要求1的特征的光电阵列解决。
根据其，用于生成所述光电流的各装置(例如光电元件)还被用来估计各单元的亮度(特别是绝对亮度)(例如，用恒定速率与异步变化事件对比)。该亮度与各单元的光电流的大小成比例。
更具体地，各单元被设置为(例如，通过各变化检测电路)异步检测变化事件和更新在以所述(例如相对低的)恒定速率取样的规则亮度样本之间的各变化事件时的亮度。
更具体地，根据本发明的光电阵列的所述变化检测电路被设置为当(且仅当)变化事件发生时生成输出信号，由于各单元的之前变化事件(也称为异步检测)所以在变化发生时在各单元的所述光强度(特别是至少)变化一阈值量，其中当所述强度增加阈值量时所述输出信号是所谓的ON信号，并且当所述强度减少阈值量时所述输出信号是所谓的OFF信号。
更具体地，所述光电阵列包括连接至所述单元的编码器，该编码器被设置为确定生成输出信号的各单元的地址(即，在单元阵列内的各单元的位置)以及所述强度是否增加(ON信号)或减少(OFF信号)所述阈值量。对应的地址和输出信号(ON或OFF)作为事件被提供至缓冲器，该缓冲器所述能够由如在US 7728269 B2中详细描述的外部接收器访问。
因此，根据本发明的光电阵列从其所有单元(像素)能够生成ON和OFF事件(输出信号)，其中这些事件的速率取决于光信号(强度)变化的速率。由于在光电阵列外的数据通信只在入射光强度变化时发生，这使得在其源极(source)的数据量，即单独单元(像素)显著减少。
同时，各单元的所述单个光电元件(例如光电二极管或光电晶体管)还被用于确定在所述单元的亮度(即，光电流的大小)，使得由于基于变化检测电路的输出的异步事件获得非常高的时间分辨率，能够以相对低的取样速率读取亮度并且还能够非常低延时地对变化做出反应。这与传统摄像机相比，显著降低了要被处理的数据量。
更具体地，用于生成与射到各单元上的入射光的强度成比例的光电流的所述装置由光电元件形成，例如光电二极管或光电晶体管，其中更具体地，各单元仅包括单个光电二极管或光电晶体管(光电元件)。
另外，如上所述，变化检测电路被特别设置成当(并且仅当)变化事件发生时，生成输出信号，在变化事件发生时由于来自所述各单元的之前的变化事件，所述强度(至少)变化一阈值量，其中当所述强度增大阈值量时所述输出信号是ON信号，当所述强度减小阈值量时所述信号是OFF信号。因此，所述输入信号能够通过在各ON事件即，在ON信号发生时，通过加上给定强度(阈值量)而被重建，而所述输入信号能够在各OFF事件，即，在OFF信号发生时，通过减去相同的给定强度(阈值量)而被重建。
为了能够读取表示亮度的信号，即在各单元(像素)的光电流的当前大小，根据本发明的光电阵列特别包括被设置为使得能够读取所述信号的亮度读取电路。
在这方面，所述亮度读取电路被特别连接至(例如反馈)晶体管的漏极，其中所述晶体管的源极被连接至用于生成光电流的所述装置，更具体地单个光电二极管的n型区，所述光电二极管的p型区特别是接地的。当然，通过用p型器件代替n型器件和用n型器件代替p型器件可以构造补充电路。这适用于在本申请中描述的所有电路。
根据本发明的实施方式的核心特征是由光电流直接驱动亮度读取电路，而不是首先被复制。复制小电流导致大的失配并且难以用于典型地小光电流。本发明因此使用反馈电路并因此避免复制任何光电流。
在这方面，亮度值与光电流(即光电二极管信号)单调地相关，但是其可以与光电流值线性地或非线性地相关，即在对数像素(单元)的情况下，亮度与光电流对数地相关。
变化检测电路会异步地发出变化事件信号，该信号亮度由于各像素(单元)的上一次变化事件已经变化一阈值量。更具体地，这些事件表示对数的强度变化。因此，这些事件表示下文表示的“时间衬比”。
根据本发明的一个方面，光电阵列(即，亮度读取电路)适于以恒定速率或变化速率在连续时间点上确定(或取样)亮度，其中更具体地，所述速率(特别是至少临时地)小于变化事件的平均速率，其中更具体地，取决于阵列的尺寸、可用的处理所述亮度样本的计算资源和所述亮度样本与所述变化事件的期望比率，所述速率在0.1Hz和100Hz之间，特别是在1Hz和100Hz之间。
本发明的又一方面是变化检测电路的变化事件能够被用于亮度之间内插和外插。在这方面，光电阵列特别被设置为通过在ON事件的情况下，在最后的时间点上取样的亮度增加相应的阈值量，并且通过在OFF事件的情况下，在最后的时间点上取样的亮度减去阈值量，来估计各个单元在两个连续的时间点之间的亮度。在这方面，作为亮度的测量值的光电流的大小还可以通过电压表示(参见下文)。然后，增加的/减去的阈值也是电压。
为了更准确的外插，每当对该对应的像素(单元)定期地(即在上述时间点时)读取强度(亮度)时，能够复位变化检测电路，这意味着由于上一个亮度样本变化事件代码大小发生变化。
假如亮度的粗略外插是充分的，变化检测和强度(亮度)读数能够完全独立，即光电阵列然后被设置使得变化检测电路与亮度读取电路完全独立。在这种情况下，由于上一次变化事件，变化事件代码大小发生变化。
为了读取光电阵列的各单元(像素)的亮度，所述亮度读取电路特别设置为将在电容器上的各单元的光电流进行积分从而确定光电流的当前大小为在各单元亮度的测量值，如在传统APS像素中那样(参照Eric R.Fossum,“Active Pixel Sensors:Are CCD’s Dinosaurs？”Proc.SPIE Vol.1900,Charge-Coupled Devices and Solid State OpticalSensors III,p.2-14,1993)。
根据另一种可能性，亮度读取电路被设置为使用在亚阈值范围中的一个或多个晶体管将各单元的光电流对数转换成电压。
在用于读取亮度的上述两方法中，亮度信息包含在模拟电压中，然后被缓冲，通过传统装置被多路输出，更具体地被转换成数字值。
根据第三方法，亮度读取电路可以在固定的电压范围上将在电容器上的光电流进行积分；然后亮度信息被包含在固定的电压范围上积分开始和积分结束之间的时间中。该方法在ATIS中使用(C.Posch,(Bad Fischou,AT)；M.Litzenberger,(Bruck an der Leitha,AT)；D.Matolin,(Vienna,AT)；R.Wohlgenannt,(Wien,AT),METHOD FORTHE GENERATION OF AN IMAGE IN ELECTRONIC FORM,PICTURE ELEMENT(PIXEL)FOR AN IMAGE SENSOR FOR THEGENERATION OF AN IMAGE AS WELL AS IMAGE SENSOR.美国专利申请20100182468,2007年11月22日提交)，其中积分由变化事件引发。但是，在该实施方式中，使用单独的光电二极管和读取电路而不是本文公开的用于生成光电流的双用途装置(光电二极管)。
附图说明
在下文中，参照附图描述了本发明的其它优点和特征以及本发明的实施方式，在附图中：
图1示意性地示出了单个光电二极管的光电流如何能够用于检测变化和读取大小(即，用于驱动亮度读取电路)；
图2示出了使用积分像素电路的读取大小的实施方式；
图3示出了图2所示的实施方式的典型信号；
图4示出了对数的强度与电压变换的实施方式；
图5例示了在亮度样本之间用时间衬比变化事件内插和外插亮度样本；并且
图6示出了完成合并的变化检测电路和亮度读取电路的实施方式，其适于将电容上的光电流进行积分以确定在根据本发明的光电阵列的各单元的亮度。
具体实施方式
图1示出了根据本发明的包括多个单元10的光电阵列1的示意性示例(在图1中只示出了一个这样的单元(像素)10)。单元10通常设置成形成二维阵列的行和列。
每一个这样的单元10包括用于生成光依赖电流(光电流)Ⅰ的光电二极管(或相似的元件)20，该光电二极管20是光电传感器电路200的部分，光电传感器电路也称为DVS光电传感器电路(DVS是动态视觉传感器的缩写)。更具体地，光电二极管20生成与入射光强度L成比例的光电流Ⅰ。
各单元10的单个光电二极管20的n型区连接至(反馈)晶体管Mfb源极S，其p型区接地，该晶体管Mfb反过来经由节点P1与栅极G连接至变化检测电路100和其源极S接地的另外的晶体管M’的漏极D。所述另外的晶体管M’的栅极G连接至所述光电二极管20的n型区和反馈晶体管Mfb的源极S。节点P1(即，晶体管Mfb的栅极G和另外的晶体管M’的漏极D)还被连接至又一晶体管M”(例如，p沟道)的漏极D，该晶体管M”具有被施加电压Vpr的栅极G，该电压与通过光电阵列1的所有单元10的所有光电流Ⅰ的总和的对数成比例以使得能够在低强度L下减小光电传感器电路200的整体能耗。
光电电路200的晶体管M’和M”形成放大器的一部分，该放大器可以被设置为具有基本对数响应，由此生成在节点P1具有V＝const+k*log(Ⅰ)形式的电压V的传感器信号，其中，Ⅰ是光电流，且k和const是常数值。
为了检测变化事件30，在该事件通过阈值量T、T’改变入射在各单元10上的光强L(也参照图5)，各单元10还包括连接至所述节点P1的变化检测电路100。
根据图6，这样的变化检测电路100被设置为生成两个输出信号ON和OFF，其中当在第一电容器C1的电压超过预定的正阈值(量)T时生成信号ON，而当在所述第一电容器C1的电压下降低于预定的负阈值(量)T’时生成OFF信号。通过将复位信号nPixReset提供给晶体管开关MpixReset能够使电路100复位。
在US 7,728,269 B2中的技术教导中详细描述了DVS像素(即光电传感器电路200和变化检测电路(或事件生成电路)100)，在本发明的上下文中也可以采用这些特征。
另外，通常来说，各单元10包括其它亮度读取电路300，该电路适于在给定时间点t、t’、t”……确定光电流Ⅰ大小或(特别是通过积分或转换)从所述光电流Ⅰ获取的也表示用于各单元10的(绝对)亮度的测量值的其它信号。
如图1所示，亮度读取电路300被连接至反馈晶体管Mbuf的漏极D，即直接通过各单元10的光电流Ⅰ驱动。因此，各单元10的各单个光电二极管20具有双用途，即用于感测异步变化事件，其中强度变化所述阈值量T、T’，以及用于感测(确定)光电流Ⅰ的大小，这能够确定在各单元10的亮度。图2示出了通过对电容上的光电流进行积分来确定所述亮度的实施方式。
因此，亮度读取电路300包括根据图2的晶体管Mcas，其具有连接至反馈晶体管Mfb的漏极的源极，被施加电压Vcas的栅极、和漏极，该漏极通过节点Pint连接至包括连接至ColReset线路的栅极的晶体管Mreset的源极，通过该线路能够将ColReset信号施加至所述Mreset的栅极。所述节点Pint还被连接至晶体管Mbuf的栅极，该晶体管Mbuf具有连接至晶体管Msel的漏极的源极，晶体管Msel的栅极被连接至ColSelect线路，通过该线路可以选择一列单元10用于读取各自的亮度，并且其源极被连接至行读取线路，晶体管MrowBuffer通过其漏极被连接至该行读取线路，而其源极接地。另外，将电压Vbufferbias施加至晶体管MrowBuffer的栅极。输出电压Vout出现在晶体管MrowBuffer的漏极(也参见图3)。
更具体地，在通过晶体管Mreset将该电压Vint复位至总复位电平VResetLevel之后，在亮度读取电路300中，对晶体管Mbuf的寄生栅电容C上的光电流Ⅰ进行积分。然后，在固定的时间量Tint后，读取电压Vint。因此，电压Vint是VResetLevel-Ⅰ*Tint/C。
在积分的过程中，用于复位各电压Vint的ColReset信号被保持在电压VColResetIntLv1，而不是像在传统的有源像素传感器像素中接地。因此，晶体管Mreset限制了在积分节点Pint(Vint)的最大电压摆幅以避免干扰事件生成(变化检测)电路100。如图3所示，其另一个优点是用于饱和像素(单元)10的截短的高亮(clipped highlights)的较柔肩部S’。由于Vint不会太慢下降的限制使得其干扰变化检测电路(DVS事件生成电路)100，更具体地，“阶梯式复位”方案，例如(S.Decker,D.McGrath,K.Brehmer和C.Sodini“A 256×256 CMOS image arraywith wide dynamic range pixels and column-parallel digital output”IEEEJ.Solid-State Circuit,vol.33,no.12,pp.2081-2091,1998年12月)公开的方案能够被用来延伸动态范围。当通过晶体管Msel选择该列用于读取时，由行平行电流源晶体管MrowBuffer和晶体管Mbuf形成的源跟随器来缓冲电压Vint。
图3示出了在该实施方式中的典型信号。箭头L表示信号Vint的形状如何朝向更高的强度L变化。
可以采用传统的双重抽样技术来减少像素到像素变化效应，其中在复位过程中取样，然后积分，并且输出是两个样本之间的差。晶体管Mcas被用来保护Mfb的漏极免受电压瞬变，当Vint被复位为VResetLevel时会发生电压瞬变。这对于防止亮度读取电路300经由光电传感器200联接至事件生成电路(变化检测电路)100是很重要的。
图4示出了另一个实施方式，其中光电流I对数地转换成电压。为此，亮度读取电路300包括晶体管Mcas，该晶体管具有连接至反馈晶体管Mfb漏极的源极、施加电压Vcas的栅极、和经由节点Plog(Vlog)连接至晶体管Md的源极的漏极，该晶体管Md包括连接至晶体管Md的漏极的栅极，其中所述晶体管Md的所述漏极还被连接至晶体管Mlog的源极，该晶体管Mlog具有施加电压Vgate的栅极。节点Plog还被连接至晶体管Mbuf的栅极，该晶体管Mbuf具有连接至晶体管Msel漏极的源极，该晶体管Msel的栅极被连接至ColSelect线路并且该晶体管Msel的源极被连接至行读取线路，晶体管MrowBuffer通过其漏极被连接至该行读取线路，而其源极接地。另外，将电压Vbufferbias施加至MrowBuffer的栅极。输出电压Vout(也参见图3)出现在晶体管MrowBuffer的漏极。
具体来说，光电流I通过在亚阈值范围中运行的晶体管Mlog对数地转换成电压Vlog。晶体管Md是可选的，并且增大信号摆幅。Mbuf、Msel和Mcas用作参照图2描述的相同的目的。因为电路连续地将光电流转换成电压，所以图4中所示的实施方式允许在任何时刻对亮度取样。可以使用由(S.Kavadias,B.Dierickx,D.Scheffer,A.Alaerts,D.Uwaerts和J.Bogaerts,“A logarithmic response CMOS image sensorwith on-chip calibration”IEEE J.Solid-State Circuit,vol.35,no.8,pp.1146-1152,2000年8月)或(B.Choubey,S.Aoyoma,S.Otim,D.Joseph,和S.Collins,“An electronic calibration scheme for logarithmic CMOSpixels”IEEE Sensors J.,vol.6,no.4,pp.950-956,2006年8月)提出的偏移校准方案以减少像素到像素变化效应。
图5例示了使用由变化检测电路100检测的变化事件30的亮度数据外插的概念。真实亮度B表示落在光电阵列1的对应单元(像素)10上的光量。以规则间隔R(即在时间t、t’、t”……)取样亮度样本B’。如果对应于亮度增加或亮度降低的时间衬比(变化)事件30被寄存，则根据当前阈值设定T、T’更新当前亮度估计B”。
如箭头C’所示，一旦得到新的亮度样本B’，就能够校正由于漂移或噪声阈值所造成的在外插的误差。通常，随后的这些样本(在时间t、t’、t”……)的亮度样本B’和这些样本之间的时间衬比(变化)事件30的数量还能够被用于精确地计算对应像素(单元)10的事件阈值T、T’。因此，光电阵列1能够被设置为确定这些事件阈值。
图6例示了如何修改各单元10(DVS像素)以使实际亮度B的外插更准确。据此，每当经由ColSelect对像素(单元)10进行寻址以读取当前亮度B’时，晶体管Mros被用来复位事件生成(即，变化检测电路100)。ColSelect控制晶体管Msel，该晶体管将亮度信号Vint经由晶体管Mbuf和晶体管MRowBuffer形成的源跟随器连接至行读取线路Vout。通过偏置电压Vbufferb控制行缓冲晶体管MrowBuffer以用作像素源跟随器的电流槽。当经由ColSelect选择像素(单元)10时，晶体管Mros导通，将nPixReset拉至地电平。该动作与当经由AckColumn和ackRow信号确认像素变化事件时的动作相同。因此，读取亮度信号Vint以当传输变化事件30时相同的方式复位变化检测电路100。如图2所示，信号ColReset将亮度信号Vint复位为高电压。单元10可以被设置为一维或二维阵列。单个单元10能够用移位寄存器扫描器或地址译码器选择。
尽管目前示出并描述了本发明的优选实施方式，显然，本发明不限于此，而是可以在随附权利要求的范围内被不同地实现和实施。

Claims (17)

1.一种光电阵列，其包括：
多个单元(10)，其中
所述单元(10)的每一个包括装置(20)，所述装置(20)被设置为生成与射在所述各单元(10)上的光的强度(L)成比例的光电流(I)，并且其中
所述单元(10)的每一个包括连接至用于生成所述光电流(I)的所述各装置(20)的变化检测电路(100)，所述变化检测电路(100)被设置为仅当变化事件(30)发生的情况下生成输出信号，在所述变化事件(30)发生时，由于来自所述各单元(10)的之前的变化事件(30)，所述强度(L)变化一阈值量(T、T’)，
其特征在于，
所述光电流(I)还被设置为通过用于生成所述光电流(I)的所述装置(20)确定在所述各单元(10)上的亮度(B’)。
2.根据权利要求1所述的光电阵列，其特征在于，各单元(10)被设置为以恒定速率确定所述亮度(B’)并且在被检测的变化事件(30)更新所述亮度(B’)。
3.根据权利要求1或2所述的光电阵列，其特征在于，用于生成所述光电流(I)的所述装置(20)由光电二极管或光电晶体管形成，更具体地由单个光电二极管或光电晶体管形成。
4.根据上述权利要求中的任一项所述的光电阵列，其特征在于，所述变化检测(100)电路被设置为当且仅当变化事件(30)发生时则生成输出信号，在所述变化事件(30)发生时由于来自所述各单元(10)的所述之前的变化事件，所述强度(L)变化一阈值量(T、T’)，其中当所述强度(L)增加阈值量(T)时，所述输出信号是ON信号，并且当所述强度(L)减少阈值量(T’)时，所述输出信号是OFF信号。
5.根据上述权利要求中的任一项所述的光电阵列，其特征在于，各单元(10)包括亮度读取电路(300)，其被设置为允许读取表示在各单元(10)的亮度(B)的信号(Vout)，其中更具体地，所述各单独单元(10)的所述光电流(I)或由此导出的数量被用作在所述各单元(10)的亮度(B)的测量值。
6.根据权利要求5所述的光电阵列，其特征在于，所述亮度读取电路(300)被连接至晶体管(Mfb)的漏极(D)，其中所述晶体管(Mfb)的源极(S)被连接至用于生成所述光电流(I)的所述装置(20)，更具体地，连接至单个光电二极管(20)的n型区。
7.根据权利要求5或6所述的光电阵列，其特征在于，所述光电阵列(1)的每个单元(10)被设置为通过所述光电流(I)直接驱动所述亮度读取电路(300)。
8.根据权利要求5至7中的任一项所述的光电阵列，其特征在于，所述光电阵列(1)适于以恒定的或变化的速率在连续时间点(t、t’、t”)确定在所述各单元(10)的当前亮度(B’)，其中更具体地所述速率至少临时地小于所述变化事件(30)的平均速率。
9.根据权利要求8所述的光电阵列，其特征在于，所述光电阵列(1)被设置为在根据与所述各变化事件(30)相关的当前阈值量(T、T’)，通过更新在每个变化事件(30)的最后的时间点(t)取样的亮度(B”)，估计在两个所述连续时间点(t、t’)之间的在所述各单元(10)的亮度(B”)。
10.根据上述权利要求中的任一项所述的光电阵列，其特征在于，每当读取对应的单元(10)的当前亮度(B’)时，所述光电阵列(1)被设置为复位所述变化检测电路(100)。
11.根据权利要求5或当引用权利要求5时的权利要求6至9中的任一项所述的光电阵列，其特征在于，所述光电阵列(1)被设置为使得所述变化检测电路(100)与所述亮度读取电路(300)完全独立地运行。
12.根据权利要求5或当引用权利要求5时的权利要求6至11中的任一项所述的光电阵列，其特征在于，所述亮度读取电路(300)被设置为将在电容(C)上所述各单元(10)的光电流(I)进行积分从而确定所述各单元(10)的所述亮度(B”)。
13.根据权利要求5或当引用权利要求5时的权利要求6至11中的任一项所述的光电阵列，其特征在于，所述亮度读取电路(300)被设置为使用特别工作在亚阈值范围中的至少一个晶体管(Mlog)将所述各单元(10)的所述光电流(I)对数转换成电压从而确定所述各单元(10)的所述亮度(B’)。
14.根据上述权利要求中的任一项所述的光电阵列，其特征在于，所述亮度读取电路(300)被设置为将作为所述各单元(10)的亮度(B”)的测量值的所述各单元(10)的所述光电流(I)的当前大小表示为模拟电压。
15.根据权利要求5或当引用权利要求5时的权利要求6至11中的任一项所述的光电阵列，其特征在于，所述亮度读取电路(300)被设置为在固定电压范围上对在电容上的所述各单元(10)的所述光电流(I)进行积分从而确定在所述各单元(10)的所述亮度(B’)，其中更具体地，所述亮度信息然后包含在所述电压范围上的积分开始和结束之间的时间中。
16.根据上述权利要求中的任一项所述的光电阵列，其特征在于，所述光电阵列(1)包括单元(10)的拓扑的一维或二维阵列。
17.根据上述权利要求中的任一项所述的光电阵列，其特征在于，所述单元(10)每一个包括限定所述各单元(10)的外边界，其中所述外边界特别包括矩形形状。
CN201280062732.2A 2011-12-19 2012-12-19 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列 Active CN104272723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11194387.4 2011-12-19
EP11194387 2011-12-19
PCT/EP2012/076093 WO2013092666A1 (en) 2011-12-19 2012-12-19 Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data

Publications (2)

Publication Number Publication Date
CN104272723A true CN104272723A (zh) 2015-01-07
CN104272723B CN104272723B (zh) 2018-08-21

Family

ID=47598759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280062732.2A Active CN104272723B (zh) 2011-12-19 2012-12-19 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列

Country Status (6)

Country Link
US (1) US9631974B2 (zh)
EP (1) EP2795894B1 (zh)
JP (1) JP5960279B2 (zh)
KR (1) KR101724513B1 (zh)
CN (1) CN104272723B (zh)
WO (1) WO2013092666A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN109729292A (zh) * 2017-10-30 2019-05-07 索尼半导体解决方案公司 固体摄像元件
CN109729291A (zh) * 2017-10-30 2019-05-07 索尼半导体解决方案公司 固体摄像元件
CN110530513A (zh) * 2018-05-24 2019-12-03 三星电子株式会社 对闪烁进行过滤的基于事件的传感器
CN111149350A (zh) * 2017-09-28 2020-05-12 苹果公司 使用事件相机生成静态图像
CN112740660A (zh) * 2018-09-28 2021-04-30 索尼半导体解决方案公司 固态成像元件、固态成像元件的控制方法以及电子设备

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327749B1 (ko) * 2013-09-16 2021-11-17 프로페시 동적 단일 광다이오드 픽셀 회로 및 그 동작 방법
EP2977931A1 (en) 2014-07-24 2016-01-27 Universität Zürich Method for tracking keypoints in a scene
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
KR102426677B1 (ko) 2015-03-09 2022-07-28 삼성전자주식회사 오프셋 및 잡음이 감소되는 차분 증폭기 및 이벤트에 기반한 비전 센서
FR3033914A1 (fr) * 2015-03-16 2016-09-23 Univ Pierre Et Marie Curie (Paris 6) Procede de traitement d'un signal asynchrone
US10198660B2 (en) 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
WO2017149433A1 (en) * 2016-03-03 2017-09-08 Insightness Ag An event-based vision sensor
DE102017207852A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Branddetektionsvorrichtung zur Detektion eines Feuers und/oder von Rauch in einem Überwachungsbereich
DE102016210056A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
DE102016214504A1 (de) 2016-06-08 2017-12-14 Robert Bosch Gmbh Kameraanordnung sowie Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
KR102467771B1 (ko) 2016-12-30 2022-11-16 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
DE102017205085A1 (de) 2017-03-27 2018-09-27 Robert Bosch Gmbh Kameraanordnung zur Tiefenschätzung, Überwachungsvorrichtung, Abstandsüberwachungsvorrichtung, Fahrassistenzsystem und Verfahren zur Tiefenschätzung
US10348994B2 (en) * 2017-04-06 2019-07-09 Samsung Electronics Co., Ltd. Intensity image acquisition from dynamic vision sensors
WO2019115517A1 (en) 2017-12-11 2019-06-20 Prophesee Event-based image sensor and operating method thereof
CN108154832B (zh) * 2018-01-02 2021-04-02 京东方科技集团股份有限公司 显示装置以及用于显示装置的检测电路和方法
TW202408216A (zh) 2018-01-23 2024-02-16 日商索尼半導體解決方案公司 光檢測裝置
US11412162B2 (en) * 2018-04-30 2022-08-09 Prophesee Systems and methods for asynchronous, time-based image sensing
JP7148269B2 (ja) * 2018-05-02 2022-10-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置
US11368645B2 (en) 2018-06-27 2022-06-21 Prophesee Sa Image sensor with a plurality of super-pixels
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
US11140349B2 (en) 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
EP3627830A1 (en) 2018-09-18 2020-03-25 IniVation AG Image sensor and sensor device for imaging temporal and spatial contrast
JP7176917B2 (ja) * 2018-10-02 2022-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP7277106B2 (ja) * 2018-10-25 2023-05-18 ソニーグループ株式会社 固体撮像装置及び撮像装置
US11809613B2 (en) 2018-11-12 2023-11-07 Magic Leap, Inc. Event-based camera with high-resolution frame output
US11985440B2 (en) 2018-11-12 2024-05-14 Magic Leap, Inc. Depth based dynamic vision sensor
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
JP2020088723A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
EP3881098A4 (en) * 2019-01-04 2022-08-31 Sense Photonics, Inc. HIGH DYNAMIC RANGE DIRECT TIME OF FLIGHT SENSOR WITH EFFECTIVE SIGNAL DEPENDENT READ RATE
EP3922011A4 (en) 2019-02-07 2022-10-26 Magic Leap, Inc. LIGHTWEIGHT HYBRID DEVICE WITH LOW POWER CONSUMPTION AND WITH HIGH TIME RESOLUTION
EP3922010A4 (en) 2019-02-07 2022-10-26 Magic Leap, Inc. PASSIVE DEPTH EXTRACTION LIGHTWEIGHT EXTENDED REALITY DEVICE
EP3731516B1 (en) * 2019-04-25 2024-05-29 Beijing RuisiZhixin Technology Co., Ltd. Delta vision sensor
US11856310B2 (en) 2019-09-04 2023-12-26 Sony Advanced Visual Sensing Ag Delay equalization in event-based vision sensors
ES2947688T3 (es) 2020-08-14 2023-08-16 Alpsentek Gmbh Sensor de imágenes con circuito de píxeles configurable y método
CN116457629A (zh) * 2020-11-25 2023-07-18 发那科株式会社 三维测量装置以及三维测量程序
JP2023003308A (ja) 2021-06-23 2023-01-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6253161B1 (en) * 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
CN1463532A (zh) * 2001-06-18 2003-12-24 卡西欧计算机株式会社 光电传感器系统和其驱动控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149376A (ja) * 1994-11-18 1996-06-07 Olympus Optical Co Ltd 固体撮像装置
GB2326784A (en) * 1997-06-16 1998-12-30 Secr Defence A temperature-insensitive imaging array of phototransistors and subthreshold MOS loads
US6741282B1 (en) * 1998-05-05 2004-05-25 Intel Corporation Method and apparatus for processing a photocurrent in both discrete and continuous time
US6660989B2 (en) 2001-07-11 2003-12-09 Texas Instruments Incorporated CMOS imager having asynchronous pixel readout in order of pixel illumination
US7512861B2 (en) 2004-05-20 2009-03-31 Vladimir Brajovic Method for determining identity of simultaneous events and applications to image sensing and A/D conversion
JP2006261770A (ja) * 2005-03-15 2006-09-28 Sakaki Horii 固体撮像装置の駆動方法
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
KR100782308B1 (ko) * 2006-07-14 2007-12-06 삼성전자주식회사 입사 광량에 따라 광전류 경로를 선택할 수 있는 ｃｍｏｓ이미지 센서와 이미지 센싱 방법
US7791664B1 (en) 2006-07-20 2010-09-07 Advasense Technologies Ltd. Methods for reading a pixel and for writing to a pixel and a device having pixel reading capabilities and pixel writing capabilities
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6253161B1 (en) * 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
CN1463532A (zh) * 2001-06-18 2003-12-24 卡西欧计算机株式会社 光电传感器系统和其驱动控制方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN105844659A (zh) * 2015-01-14 2016-08-10 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN108574809B (zh) * 2017-03-08 2022-04-05 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
CN111149350B (zh) * 2017-09-28 2022-02-22 苹果公司 使用事件相机生成静态图像
US11770619B2 (en) 2017-09-28 2023-09-26 Apple Inc. Generating static images with an event camera
CN111149350A (zh) * 2017-09-28 2020-05-12 苹果公司 使用事件相机生成静态图像
CN114339098A (zh) * 2017-10-30 2022-04-12 索尼半导体解决方案公司 固体摄像元件
US11546542B2 (en) 2017-10-30 2023-01-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
US11082656B2 (en) 2017-10-30 2021-08-03 Sony Semiconductor Solutions Corporation Solid-state imaging device
CN109729291B (zh) * 2017-10-30 2021-10-22 索尼半导体解决方案公司 固体摄像元件
CN109729292B (zh) * 2017-10-30 2021-11-16 索尼半导体解决方案公司 固体摄像元件
US11245861B2 (en) 2017-10-30 2022-02-08 Sony Semiconductor Solutions Corporation Solid-state imaging element
CN112601036A (zh) * 2017-10-30 2021-04-02 索尼半导体解决方案公司 事件检测传感器
CN114339098B (zh) * 2017-10-30 2024-06-18 索尼半导体解决方案公司 光传感器
CN109729291A (zh) * 2017-10-30 2019-05-07 索尼半导体解决方案公司 固体摄像元件
US11490045B2 (en) 2017-10-30 2022-11-01 Sony Semiconductor Solutions Corporation Solid-state imaging device
US11895422B2 (en) 2017-10-30 2024-02-06 Sony Semiconductor Solutions Corporation Solid-state imaging device
US11659291B2 (en) 2017-10-30 2023-05-23 Sony Semiconductor Solutions Corporation Solid-state imaging element
CN109729292A (zh) * 2017-10-30 2019-05-07 索尼半导体解决方案公司 固体摄像元件
CN110530513A (zh) * 2018-05-24 2019-12-03 三星电子株式会社 对闪烁进行过滤的基于事件的传感器
CN112740660A (zh) * 2018-09-28 2021-04-30 索尼半导体解决方案公司 固态成像元件、固态成像元件的控制方法以及电子设备
CN112740660B (zh) * 2018-09-28 2024-04-19 索尼半导体解决方案公司 固态成像元件、固态成像元件的控制方法以及电子设备

Also Published As

Publication number Publication date
JP5960279B2 (ja) 2016-08-02
EP2795894B1 (en) 2020-06-17
KR101724513B1 (ko) 2017-04-07
US9631974B2 (en) 2017-04-25
JP2015501936A (ja) 2015-01-19
WO2013092666A9 (en) 2014-07-03
EP2795894A1 (en) 2014-10-29
WO2013092666A1 (en) 2013-06-27
KR20140103116A (ko) 2014-08-25
CN104272723B (zh) 2018-08-21
US20140326854A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
CN104272723A (zh) 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
Brandli et al. A 240× 180 130 db 3 µs latency global shutter spatiotemporal vision sensor
CN100515050C (zh) 固态图像拾取装置及其驱动方法和成像设备
EP1052846B1 (en) Image sensor incorporating saturation time measurement to increase dynamic range
KR101807439B1 (ko) 정전압 바이어싱된 광다이오드를 갖는 픽셀 회로 및 관련 이미징 방법
US20140008520A1 (en) Global shutter with dual storage
US20040085469A1 (en) Method to eliminate bus voltage drop effects for pixel source follower amplifiers
CN103369268A (zh) 固态成像装置、输出成像信号的方法和电子装置
CN103875237A (zh) 图像拾取器件和相机系统
US20070195183A1 (en) Method and circuit for determining the response curve knee point in active pixel image sensors with extended dynamic range
EP1475961A1 (en) Combined linear-logarithmic image sensor
US8130294B2 (en) Imaging array with non-linear light response
CN105681692A (zh) Cmos图像传感器及其复位噪声评估方法
WO2007066762A1 (ja) 固体撮像装置
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
US7417212B2 (en) Solid-state image-sensing device
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
KR20140134529A (ko) 촬상 장치 및 제어 방법
CN102740007A (zh) 主动式影像感测电路及其感测方法
JP2008118361A (ja) 撮像装置及び固体撮像素子の制御方法
Chapinal et al. A 128/spl times/128 CMOS image sensor with analog memory for synchronous image capture
CN104639842A (zh) 影像处理装置及曝光控制方法
CN112135071A (zh) 一种图像传感系统
KR102598514B1 (ko) 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치
CN112135014B (zh) 一种信号采集装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant