CN113826379B - 具有像素内数字改变检测的动态视觉传感器 - Google Patents
具有像素内数字改变检测的动态视觉传感器 Download PDFInfo
- Publication number
- CN113826379B CN113826379B CN202080034786.2A CN202080034786A CN113826379B CN 113826379 B CN113826379 B CN 113826379B CN 202080034786 A CN202080034786 A CN 202080034786A CN 113826379 B CN113826379 B CN 113826379B
- Authority
- CN
- China
- Prior art keywords
- pixel
- count
- current
- sensor
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 5
- 230000015654 memory Effects 0.000 claims description 30
- 108091008695 photoreceptors Proteins 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000007906 compression Methods 0.000 abstract description 2
- 230000006835 compression Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 101000650863 Homo sapiens SH2 domain-containing protein 1A Proteins 0.000 description 3
- 102100027720 SH2 domain-containing protein 1A Human genes 0.000 description 3
- 241000143940 Colias Species 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
诸如基于事件的视觉传感器的动态视觉传感器采用模数转换器(ADC)，诸如斜坡ADC，将来自感光器的信号进行模数转换。然后数字地存储和比较当前光值与先前光值。此外，可以通过线性地增加计数同时指数地增加参考电压，或者对数地增加计数同时线性地增加参考电压，来实现对数压缩。
Description
相关申请
本申请根据35USC 119(e)要求于2019年5月10日提交的美国临时申请第62/846,287号的权益，该申请在此以其全部通过引用结合进来。
背景技术
如今，机器视觉主要基于常规相机及其相关联的基于帧的空间分辨光学传感器。对于某些机器视觉任务，例如目标识别，这些常规的基于帧的相机及其基于图像的光学传感器非常适用。然而，对于其他任务，例如，监视、追踪或位置和运动估计，常规图像传感器具有缺点。
主要缺点在于常规相机会产生必须捕获、通信和处理的大量冗余且不必要的数据。这种高数据负载通过降低时间分辨率来减慢反应时间，导致功耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器都有动态范围有限，低光性能差，并且运动模糊的问题。
另一方面，所谓的动态视觉传感器(DVS)克服了基于帧的编码的限制。参见由Lichtsteiner等人撰写的题为“Photoarray for Detecting Time-Dependent ImageData”的美国专利申请公开第US 2008/0135731号，其通过本引用并入本文。这些空间分辨光学传感器用在像素内数据压缩中，以移除数据冗余。这些空间分辨光学传感器还可以实现高时间分辨率、低延迟、低功耗和高动态范围，而运动模糊很少。因此，DVS类型的光学传感器非常适用，尤其适用于太阳能或电池供电的压缩感测或用于移动机器视觉应用，其中必须估计系统的位置，并且由于电池容量有限，处理能力受到限制。
DVS在本地预处理视觉信息。DVS不是生成清晰的图像，而是为计算机应用程序产生智能数据。常规的图像传感器将电影捕获为一系列静态图像，而DVS检测并仅传输场景中改变的位置。DVS编码视觉信息比常规相机有效率得多，这是因为它在像素内数据压缩中做到了这一点。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续追踪视觉特征，从而克服对应的问题。此外，DVS的架构允许高动态范围和良好的低光性能。
基于事件的视觉传感器(EVBS)通常是但并不总是原始DVS架构的变体。作为一般规则，EVBS的像素至少在其像素的部分中异步操作，而不具有周期性采样率，并且一旦它们感知到亮度改变超过可调节阈值，就会发射所谓的DVS地址事件。开启事件与超过阈值的亮度增加相关联；并且关闭事件与在给定像素处超过阈值的亮度降低相关联。
此外，还有许多混合空间分辨光学传感器的示例。例如，已经提出将基于帧的图像感测与基于事件的视觉感测结合到相同的像素阵列中。此外，还有另外提出的传感器架构，提供了事件检测和图像感测的不同组合。
发明内容
通常，视觉传感器通过若干元件的组合捕获时间改变事件，所有这些元件在许多提出的架构中都可能具有某些缺点。
电流域对数(log)感光器是连续时间电路。电流域对数感光器通常在每个像素中具有来自反馈晶体管的附加散粒噪声源。与常规图像传感器相比，电流域对数感光器在低光条件下的信噪比(SNR)也会降低。在低光条件下，电流域对数感光器也往往是缓慢的。
这些传感器的模拟存储器也呈现了设计挑战。它们会发生泄漏，并且会消耗传感器晶粒上相对较大的表面积。此外，存储器的性质意味着在像素复位期间集成信号丢失。事件的大小丢失，即触发事件的改变量未知。
传感器的像素内比较器存在问题。它们很复杂并且需要许多晶体管。这会影响传感器的填充因数。
本发明可用于解决一些或所有这些先前识别的问题。它可以进一步促进比一些先前的设计更高的像素密度。此外，它还可以产生像素，该像素允许即时了解事件大小，即由一个事件进行编码的改变量。
同时，堆叠的CMOS图像传感器(CIS)处理允许底部晶片上的小特征尺寸，同时具有高度光敏感的上部晶片。然而，DVS类型架构无法真正利用这一点。CMOS处理中常见的金属-绝缘体-金属(MiM)电容器的电容不随特征尺寸按比例缩放。因此，它们随着其他电路缩小趋向于占据晶粒面积。此外，许多晶体管无法缩放到CMOS处理的最小特征尺寸，因为匹配很重要。此外，许多晶体管必须设计成在高电源电压下工作，并且因此厚栅极氧化层必须设计成具有足够的摆动或足够小的栅极/沟道泄漏。此外，新的CIS处理使用高度优化的具有完全电荷转移的感光器来降低噪声，但DVS架构无法利用这些处理进步，因为光电二极管是连续运行的。
本发明的一些实施例利用这些堆叠的CIS处理。具有感光器优化晶片的光学传感器可以将它的值“写入”到下方的数字晶片中，其中可能执行存储和/或处理。避免使用一些或全部模拟存储器可避免泄漏，并且在堆叠的CIS处理中，可能会允许像素缩小。
当过渡到数字存储器时的两个挑战是有效的模数转换方案和将当前值与过去值进行比较的有效方法。通过将模拟和数字比较器(CX)与两个斜坡(模拟和数字)结合使用，所提出的发明可用于解决这些挑战。这使其能够及时建立模数(A-D)转换。
具有数字存储器意味着每个像素都需要模数转换器(ADC)。在一些示例中，采用斜坡ADC，允许感光器的信号Vs进行A-D转换，与此同时通过线性地增加计数同时指数地增加参考电压，或者对数地增加计数同时线性地增加参考电压来执行对数(log)压缩。
在这样的数字像素中，有必要通过必须计算的旧照明值和当前照明值之间的差值来检测事件是否被触发，即，自最后一个值存储在存储器中以来，改变是否跨越某个上限(开启)或下限(关闭)阈值。为了将旧照明和当前照明之间的差值与阈值进行比较，可以使用数字比较器。然后，为了更新存储器值(像素复位)，将当前照明的值复制到旧照明的存储器中。
一般而言，根据一个方面，本发明的特征在于一种光学传感器，该光学传感器包括像素，该像素包括用于检测接收的光子的感光器以及用于将来自感光器的信号与斜坡电压进行比较的模拟比较器。当前存储器用于存储与斜坡电压相关的当前计数，并且旧存储器存储先前计数。然后使用一个或多个数字比较器将当前计数和先前计数之间的差值与至少一个事件阈值进行比较。
在实施例中，开启和关闭事件数字比较器用于将当前计数和先前计数之间的差值与开启事件阈值和关闭事件阈值进行比较。
此外，感光器和模拟比较器的至少一部分可以在与当前存储器和旧存储器不同的晶片中实现。这样，一个晶片可以针对光检测进行优化，而另一个晶片可以针对数字电路进行优化。
此外，对于组件是在每个像素中实现还是在列的像素之间共享，有不同的选择。例如，存储器中的至少一些通常位于每个像素中。此外，用于确定当前计数和先前计数之间的差值的数字减法器可位于每个像素中或位于读出电路中并在像素之间共享。
通常，斜坡电压随时间指数地变化。
一般而言，根据另一方面，本发明的特征在于一种光学感测方法，该光学感测方法包括：检测接收的光子并将结果信号与斜坡电压进行比较，存储与斜坡电压相关的当前计数，存储先前计数，以及将当前计数和先前计数之间的差值与至少一个事件阈值进行比较。
现在将参考附图更具体地描述并在权利要求中指出本发明的上述和其他特征，包括构造和部件组合的各种新颖细节以及其他优点。应当理解，体现本发明的特定方法和装置是通过图示而不是作为本发明的限制来示出的。在不脱离本发明范围的情况下，本发明的原理和特征可用于各种和众多实施例中。
附图说明
在附图中，附图标记指代贯穿不同视图的相同部件。附图不一定按比例绘制；相反，重点放在说明本发明的原理上。在附图中：
图1是示出具有其基于事件的像素阵列EBPA的动态视觉传感器(诸如基于事件的视觉传感器EBVS)的示意性框图；
图2是根据本发明的用于基于事件的像素阵列的数字像素的电路图，并且示出了像素内位置或列内位置之间的用于组件的不同布置；
图3A是根据第一实施例的用于基于事件的像素阵列的数字像素的更详细的电路图；
图3B是根据第一实施例的列读出电路的电路图；
图3C是用于采用第一实施例数字像素的传感器的时序图；
图4A是根据第二实施例的用于基于事件的像素阵列的数字像素的电路图；
图4B是根据第二实施例的列读出电路的电路图；
图4C是用于采用第二实施例数字像素的传感器的时序图；
图5是根据第三实施例的用于基于事件的像素阵列的数字像素的电路图；
图6A是根据第四实施例的用于基于事件的像素阵列的数字像素的电路图；
图6B是用于采用第四实施例数字像素的传感器的时序图；
图7A是第一对数像素前端电路图；
图7B是用于使用光伏配置的第二像素前端的电路图；
图8A是第三像素前端电路图；以及
图8B是用于使用光伏配置的第四像素前端的电路图。
具体实施方式
下面将参考附图更全面地描述本发明，附图中示出了本发明的示例性实施例。然而，本发明可以以许多不同形式体现，并且不应被解释为限于本文所述的实施例；相反，提供这些实施例使得本公开将是透彻且完整的，并且将向本领域技术人员充分传达本发明的范围。
如本文所用，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。此外，除非另有明确说明，否则单数形式和冠词“一(a)”、“一(an)”和“所述(the)”也旨在包括复数形式。此外，应当理解，当在本说明书中使用时，术语：包含(includes)、包括(comprises)、包含(including)和/或包括(comprising)规定了存在所陈述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其群组。此外，应当理解，当包含组件或子系统的元件被称为和/或显示为连接或耦合到另一元件时，该元件可以直接连接或耦合到另一元件，或者可以存在中间元件。
应当理解，尽管本文中使用诸如“第一”和“第二”的术语来描述各种元件，但这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件和另一个元件。因此，下面讨论的元件可以被称为第二元件，并且类似地，在不脱离本发明的教导的情况下，第二元件可以被称为第一元件。
除非另有定义，否则本文所用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员通常所理解相同的含义。此外，应当理解，术语(诸如在常用词典中定义的那些)应当被解释为具有与其在相关技术的上下文中的含义一致的含义，并且除非在本文中明确地如此定义，否则不会以理想化或过于正式的意义来解释。
图1示出了动态视觉传感器(诸如基于事件的视觉传感器EBVS)的基本布局。
该动态视觉传感器具有基于事件的像素阵列EBPA和列读出电路RO，读取阵列EBPA生成的事件以及每个像素的灰度值。
EBPA通常是像素P的二维的空间分辨阵列。该阵列通常具有多于100列和多于100行。在一个示例中，该读出是按行的，由行扫描仪和驱动器电路RS控制。传感器控制器CN协调传感器EBVS的操作，并且通常控制事件扫描仪ES，以便潜在地经由灰度计数解转换器GC向另一处理单元(例如中央处理单元(CPU)、微控制器、数字信号处理器(DSP))提供像素地址形式的事件数据流以及灰度值。灰度计数解转换器GC可以是如图1所示的单独的块，或者可以是列读出电路RO的一部分，或者可以完全省略。通常，事件数据流以检测的光改变的像素P的地址形式出现。这些地址中的每一个都以表示x-y坐标的两个数字的形式对阵列中的像素位置进行编码。通常，包含另一个位来区分开启事件和关闭事件。灰度值通常是表示每个像素接收的光的数字词(digital words)，并且通常累积到图像数据的帧中。
传感器控制器CN还控制Vref控制器/计数器RC，该Vref控制器/计数器RC还向参考电压发生器RG提供计数器输出和DAC-代码，该参考电压发生器RG生成到阵列EBPA的参考电压Vref。计数器输出和参考电压Vref由斜坡和计数器电路RC产生，并在时间上彼此同步。这意味着瞬时计数器输出和参考电压的瞬时电压之间存在建立的关系。参考电压Vref通常采用随时间变化的电压(线性或指数)斜坡的形式，该电压上升和/或下降，其中计数器的计数追踪并数字地表示Vref。
如果分配给像素的计数是灰度计数，则这可能是优先的，因为这使得整个电路对小故障更加稳固。在这种情况下，需要灰度计数转换器GC2和灰度计数解转换器GC。灰度计数转换器GC2将正常二进制数转换为对应的灰度计数。灰度计数具有这样的特性：从一个状态到下一个状态，只有一位改变。灰度计数解转换器将灰度计数转换回正常二进制数。
图2示出了每个像素P以及将驻留在传感器的读出电路RO中的其他电路的一般配置。
更详细地，感光器PR和感光器电路PR驻留在每个像素中。它们一起将入射光L转换为感光器电压Vs。
像素P的比较器C将感光器电压Vs与参考电压Vref进行比较。该比较器可包括某种形式的滞后，以避免由于比较器输出反弹而产生的问题。
一旦参考电压Vref的当前模拟电平等于感光器输出电压Vs，比较器C为当前照明锁存器阵列LC计时，以存储由计数器驱动器/三态缓冲器TRI提供的用于像素的当前计数器值。
数字减法器DS计算存储在当前照明锁存器阵列LC中的当前照明值与存储在旧照明锁存器阵列LO中的旧照明值之间的差值。
然后将数字减法器DS产生的差值与开启事件数字比较器ONC和关闭事件数字比较器OFFC中的两个阈值进行比较，这两个阈值分别接收数字开启事件阈值OnThreshold和数字关闭事件阈值OffThreshold，这两个阈值通常由控制器CN指定。
数字比较器ONC、OFFC的输出存储在相应的输出锁存器ONL、OFFL中。
如果开启事件输出锁存器ONL和关闭事件输出锁存器OFFL中的任一个的状态指示基于OR逻辑门ORG的事件，则响应于通过操作AND逻辑门ANDG来使复位信号变为激活(复位)，将当前照明值存储到旧照明锁存器阵列LO中。
该架构有许多不同的变体，这些变体通过哪些组件位于每个像素P内并因此对跨越整个阵列EBPA的每个像素进行复制，与这些组件位于读出电路RO中并因此由像素列共享的变体区分开来。基本的折衷是，在每个像素内定位组件会使整个传感器更快，但使像素更复杂会对阵列的尺寸和传感器的填充因数产生不利影响。
通常，感光器PR和感光器电路(PRC)总是在每个像素(像素变体1-3)中复制。此外，模拟比较器C也位于像素以及当前照明锁存器阵列LC(像素变体1和3)中。这确保了高速操作和当前照明值的准确存储。
在一种变体(像素变体2)中，当前照明锁存器阵列LO位于读出电路RO以及其他下游组件(诸如数字减法器DS、开启事件数字比较器ONC和关闭事件数字比较器OFFC)中。
一般情况下，如果当前照明未存储在像素中，则将按行执行ADC转换，因此每行都需要斜坡。因此，传感器会相当慢。当然也有中间解决方案，例如，四(4)个像素可以共享当前照明存储器，那么斜坡只需要生成四次。通常，需要许多旧照明存储器作为像素。
然而，在另一变体中，旧照明锁存器阵列LO和可能的数字减法器DS位于每个像素(像素变体3)中。
此外，每个像素P还产生由像素检测的灰度值。因此，传感器允许访问两种类型的信息：事件的发生(通过输出发生事件的像素的地址)和对应的像素的新照明值。
该传感器非常适合在使用像素级混合接合的晶片堆叠中实现。需要每像素一个到三个晶片到晶片连接。具体地说，模拟电路在上部晶片上实现。这包括感光器和比较器C。下游数字电路在下部晶片中实现。
在其他示例中，包括PMOS晶体管的模拟电路的任何部分在下部晶片中实现。因此，只有NMOS晶体管在上部晶片中。在放大器/比较器的常见实现方式中，需要两个或三个PMOS晶体管。这些PMOS晶体管可以在下部晶片上实现。这取决于放大器的实现方式，需要每像素两个或三个晶片到晶片连接。
这允许在上部晶片上针对光敏感和模拟电路选择最佳处理技术，并且在下部晶片上针对密集数字电路选择最佳处理技术。
图3A是根据使用电平敏感存储器的更具体实施例的像素P的电路图。有利地，对于EBPA的所有像素P，ADC转换可以全局且同时发生。另一方面，在该实施例中，数字减法和比较器在列读出电路中。
此处，采用常规的有源像素电路(APS)前端。该前端包含由电荷转移信号TX控制的钉扎光电二极管PR和电荷转移晶体管Tx、由复位信号RS控制的浮动扩散FD和复位晶体管Rs。
为了实现高动态范围，还可以使用双重曝光方案：在复位之后，晶体管TX对电压进行第一次采样，并以第一斜率进行记录和读出，同时PR继续积分。在第一次读出之后，对TX进行第二次采样，并以自适应斜率读出所有未饱和的像素。
像素P通过提供从比较器C的输出到其反相输入(-)的反馈路径来使用相同的比较器C进行读出/比较。因此，双采样固有地用于减少由于比较器偏移引起的像素到像素差异。
还显示了开关SW1、SW2，开关SW1、SW2用于响应于来自行扫描仪和驱动器RS的信号Rsel_act，将来自当前锁存器阵列LC的当前照明值和来自锁存器阵列LO的旧照明值传送到列读出电路RO。此处，信号Rsel_old用作复位，以触发将当前照明值写入旧照明值锁存器阵列LO。
一般而言，此处的读出和比较是按行进行的。选择一行，并将两个存储器LC、LO的内容连接到对应的列读出RO。
图3B是如图3A所示的支持像素P的列的列读出电路RO的部分的电路图。
选择的行的像素的来自当前锁存器阵列LC的当前照明值和来自旧照明锁存器阵列LO的旧照明值分别被接收到列读出电路RO的列当前锁存器阵列CCLA和列旧照明锁存器阵列COLA中。这些锁存器基于Clk、Sel_act和Sel_old信号进行计时。
如果采用灰度计数，则为了数字减法CDS的更简单实现，可以针对每列像素重复灰度计数解转换器(图1中的GC、图3B中的GRAYD)。
来自列当前锁存器阵列CCLA和列旧照明锁存器阵列COLA的值被提供给列数字减法器CDS。列数字减法器CDS的输出被提供给两个数字比较器CON、COFF，数字比较器CON、COFF基于对应的阈值OnThres、OffThres区分开启事件和关闭事件。列事件输出锁存器CONL、COFFL保存结果。这些结果还用于经由基于事件复位(EvtReset)的列AND门CAND复位对应的像素。
当前照明值也会传递给列灰度锁存器阵列CGRAYL，以提供灰度输出。
图3C是示出用于图3A所示的像素实施例的经过曝光阶段、ADC转换阶段和读出阶段的信号的时序图。
图4A是根据使用边缘敏感存储器的另一实施例的像素P的电路图。边缘敏感存储器将输入处的值存储在时钟信号的上升边缘处，而只要时钟(或此处称为使能E)信号高，则电平敏感存储器存储输入信号。
开关SW1、SW2在传感器控制器CN的控制下，开关SW1、SW2用于响应于信号RowSelect信号，将来自锁存器阵列LC的当前照明值和来自锁存器阵列LO的旧照明值传送到列读出电路RO中的数字减法器DS中。
图4B是如图4A所示的支持像素P的列的列读出电路RO的部分的电路图。
该示例另外提供了空间对比度的评估。一系列的列多路复用器Ml、M2、M3提供空间对比度操作模式，其中基于信号空间对比度的状态将存储在列当前锁存器阵列中的当前照明值与左侧相邻像素的当前照明值进行比较。在此模式下，来自列数字减法器CDS的空间对比度输出值随后提供给列灰度锁存器CGRAYL。当不在空间对比度模式下时，操作类似于结合图3A描述的操作。
图4C是示出用于图4A所示的实施例的经过曝光阶段、ADC转换阶段和读出阶段的信号的时序图。
图5是根据使用电平敏感存储器的另一实施例的像素P的电路图。
此处，参考电压Vref需要斜降。比较器C的输出高，直到Vref跨越Vs，此时到当前照明锁存器阵列LC的使能信号下降。
一般而言，该实施例比参考图4A讨论的更紧凑，但是具有更高功耗，因为存储器一直切换，直到跨越Vref。
图6A是根据另一实施例的像素P的电路图。在该实施例中，数字减法电路DS以及一个数字比较器DC位于每个像素中。
此处，开启事件输出锁存器ONL和关闭事件输出锁存器OFFL在每个像素中实现，并且响应于来自控制器CN的RowSelect，仅将其结果提供给列读出电路RO。
图6B是示出用于图6A所示的实施例的经过曝光阶段、ADC转换阶段和读出阶段的信号的时序图。
图7A和图7B示出可用于代替先前示例的两个替代的前端电路。
即使利用对数前端，这些前端电路也会减少像素到像素偏移并生成可接受的灰度输出。此外，可以使用双采样方案。并且，这两个示例都允许差分双采样，使得结果灰度值应该具有较小的偏移。
更详细地，图7A示出了对数反馈布置，其中比较器C的输出通过由复位信号控制的开关SW3进行反馈。在放大器布置中接收反馈，从而产生到比较器C的FOut。放大器包括晶体管Tl、T2、T3、T4，其中晶体管T2也由复位信号控制，而晶体管T3由偏置电压信号控制。
更详细地，图7B示出了光伏反馈布置，其中比较器C的输出通过由复位信号控制的开关SW3进行反馈。在放大器布置中接收反馈，从而产生到比较器C的FOut。放大器包括晶体管T5和T7。晶体管T6也由复位信号控制。
图8A和图8B示出了两个替代的前端电路，可用于代替图7A和图7B的先前示例以产生到比较器C的FOut信号。
如图所示，前端还可以使用对数前端来实现，由于缺乏双采样方案、失配和连续时间操作，导致噪声增加。如果使用具有对数光到电压映射的前端，则Vref斜坡和计数器输出均应为线性。
一般而言，计数器RC的位宽度和数字比较器ONC、OFFC(以及阈值信号)的位宽度未必相同。对于比较器，可以选择较小的位宽度。这将导致可以设置的最大阈值。然后，需要实现减法电路，使得输出位宽度小于输入位宽度，以及显示差值大于可以用减法电路的输出的位数编码的差值的“溢出”位。
虽然已经参考本发明的优选实施例具体地示出和描述了本发明，但是本领域技术人员将理解，在不脱离所附权利要求书所涵盖的本发明的范围的情况下，可以对本发明的形式和细节进行各种改变。
Claims (16)
1.一种光学传感器，包括：
像素，所述像素包括用于检测接收的光的感光器以及用于将来自所述感光器的信号与斜坡电压进行比较的模拟比较器；
当前存储器，所述当前存储器用于存储与所述斜坡电压相关的当前计数；
旧存储器，所述旧存储器用于存储先前计数；
一个或多个数字比较器，所述数字比较器用于将所述当前计数和所述先前计数之间的差值与至少一个事件阈值进行比较；以及
开启和关闭事件数字比较器，所述开启和关闭事件数字比较器用于将所述当前计数和所述先前计数之间的差值与开启事件阈值和关闭事件阈值进行比较。
2.根据权利要求1所述的传感器，其中，所述感光器和所述模拟比较器的至少一部分在与所述当前存储器和所述旧存储器不同的晶片中实现。
3.根据权利要求1所述的传感器，其中，存储器中的至少一些位于每个像素中。
4.根据权利要求1所述的传感器，其中，每个像素包含用于存储先前计数的旧存储器。
5.根据权利要求1所述的传感器，其中，每个像素包含用于存储当前计数的当前存储器。
6.根据权利要求1所述的传感器，还包括数字减法器，所述数字减法器用于确定所述当前计数和所述先前计数之间的差值。
7.根据权利要求6所述的传感器，其中，所述数字减法器位于每个像素中。
8.根据权利要求6所述的传感器，其中，所述数字减法器位于读出电路中并且在像素的子集之间共享。
9.根据权利要求1至8中任一项所述的传感器，其中，斜坡电压随时间指数地变化。
10.一种用于光学传感器的光学感测方法，包括：
在所述光学传感器的像素中检测接收的光并将结果信号与斜坡电压进行比较；
存储与所述斜坡电压相关的当前计数；
存储先前计数；
将所述当前计数和所述先前计数之间的差值与至少一个事件阈值进行比较；以及
将所述当前计数和所述先前计数之间的差值与开启事件阈值和关闭事件阈值进行比较。
11.根据权利要求10所述的方法，其中，在与光检测不同的晶片中执行所述当前计数与所述先前计数之间的差值的比较。
12.根据权利要求10所述的方法，其中，存储器用于存储所述当前计数，并且/或者所述先前计数位于每个像素中。
13.根据权利要求10所述的方法，还包括数字地减去所述当前计数和所述先前计数。
14.根据权利要求13所述的方法，其中，在每个像素中执行数字减法。
15.根据权利要求13所述的方法，其中，以列执行数字减法。
16.根据权利要求10至15中任一项所述的方法，其中，斜坡电压随时间指数地变化。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962846287P | 2019-05-10 | 2019-05-10 | |
| US62/846,287 | 2019-05-10 | ||
| PCT/IB2020/054399 WO2020229981A1 (en) | 2019-05-10 | 2020-05-08 | Dynamic vision sensor with in-pixel digital change detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113826379A CN113826379A (zh) | 2021-12-21 |
| CN113826379B true CN113826379B (zh) | 2024-06-04 |
Family
ID=70775438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080034786.2A Active CN113826379B (zh) | 2019-05-10 | 2020-05-08 | 具有像素内数字改变检测的动态视觉传感器 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11812169B2 (zh) |
| EP (1) | EP3967027B1 (zh) |
| KR (1) | KR20220006083A (zh) |
| CN (1) | CN113826379B (zh) |
| WO (1) | WO2020229981A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311964B (zh) * | 2019-07-26 | 2022-06-07 | 华为技术有限公司 | 一种像素采集电路、动态视觉传感器以及图像采集设备 |
| ES2962472T3 (es) | 2020-06-26 | 2024-03-19 | Alpsentek Gmbh | Sensor de imagen delta con almacenamiento de píxeles digital |
| EP3955566B1 (en) | 2020-08-14 | 2023-06-07 | Alpsentek GmbH | Image sensor with configurable pixel circuit and method |
| EP4064686B1 (en) | 2021-03-22 | 2024-05-01 | IniVation AG | Event sensor and method for producing a signal stream of event data |
| CN114285962B (zh) * | 2021-12-14 | 2023-04-07 | 成都时识科技有限公司 | 噪声处理装置、方法、芯片、事件成像装置及电子设备 |
| CN114882853A (zh) * | 2022-04-18 | 2022-08-09 | 深圳锐视智芯科技有限公司 | 曝光时间调整方法、装置、调节设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080074684A (ko) * | 2007-05-18 | 2008-08-13 | 실리콤텍(주) | 움직임 검출이 가능한 저전력 이미지 센서 및 이를 이용한움직임 검출 방법 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101331982B1 (ko) | 2005-06-03 | 2013-11-25 | 우니페르지타에트 취리히 | 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이 |
| US9094015B2 (en) * | 2011-01-14 | 2015-07-28 | Infineon Technologies Ag | Low-power activation circuit with magnetic motion sensor |
| US9310495B2 (en) * | 2011-05-04 | 2016-04-12 | Oy Ajat Ltd. | Photon/energy identifying X-ray and gamma ray imaging device (“PID”) with a two dimensional array of pixels and system therefrom |
| JP6029286B2 (ja) | 2012-02-17 | 2016-11-24 | キヤノン株式会社 | 光電変換装置および撮像システム |
| WO2014174498A1 (en) * | 2013-04-26 | 2014-10-30 | Ecole Polytechnique Federale De Lausanne (Epfl) | A novel cmos image sensor with event/change detection and reduced data redundancy |
| JP6377947B2 (ja) * | 2014-04-21 | 2018-08-22 | ルネサスエレクトロニクス株式会社 | 固体撮像素子および電子機器 |
| WO2016014860A1 (en) * | 2014-07-25 | 2016-01-28 | Rambus Inc. | Low-noise, high dynamic-range image sensor |
| US10728450B2 (en) | 2014-09-30 | 2020-07-28 | Qualcomm Incorporated | Event based computer vision computation |
| CN115037896A (zh) | 2016-12-30 | 2022-09-09 | 索尼先进视觉传感公司 | 动态视觉传感器结构 |
| KR102641894B1 (ko) | 2017-02-03 | 2024-02-29 | 삼성전자주식회사 | 이미지를 촬영하는 센서 및 그 제어 방법 |
| US10395376B2 (en) * | 2017-07-19 | 2019-08-27 | Qualcomm Incorporated | CMOS image sensor on-die motion detection using inter-pixel mesh relationship |
| CN108600579B (zh) | 2018-05-16 | 2020-03-20 | 上海集成电路研发中心有限公司 | 一种应用于cis的运动检测电路及运动检测方法 |
-
2020
- 2020-05-08 CN CN202080034786.2A patent/CN113826379B/zh active Active
- 2020-05-08 EP EP20726946.5A patent/EP3967027B1/en active Active
- 2020-05-08 WO PCT/IB2020/054399 patent/WO2020229981A1/en unknown
- 2020-05-08 US US17/609,437 patent/US11812169B2/en active Active
- 2020-05-08 KR KR1020217038784A patent/KR20220006083A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080074684A (ko) * | 2007-05-18 | 2008-08-13 | 실리콤텍(주) | 움직임 검출이 가능한 저전력 이미지 센서 및 이를 이용한움직임 검출 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113826379A (zh) | 2021-12-21 |
| EP3967027B1 (en) | 2023-10-25 |
| EP3967027A1 (en) | 2022-03-16 |
| KR20220006083A (ko) | 2022-01-14 |
| US11812169B2 (en) | 2023-11-07 |
| US20220239851A1 (en) | 2022-07-28 |
| WO2020229981A1 (en) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113826379B (zh) | 具有像素内数字改变检测的动态视觉传感器 | |
| US12010447B2 (en) | Dynamic vision sensor architecture | |
| US11825229B2 (en) | Event-based vision sensor using on/off event and grayscale detection ramps | |
| JP4389190B2 (ja) | 画素内局所露光制御機能を有するｃｍｏｓアクティブピクセルセンサ | |
| US11785357B2 (en) | Image sensing device operatable in a plurality of modes | |
| US12058459B2 (en) | NMOS comparator for image sensor pixel | |
| CN114365479A (zh) | 基于事件的视觉传感器的延迟均衡 | |
| KR102704878B1 (ko) | 동적 비전 센서 아키텍쳐 | |
| CN116761086A (zh) | 动态有源像素及动态有源像素视觉传感器系统 | |
| JP2024004564A (ja) | 信号処理装置及び信号処理方法 | |
| CN113518159A (zh) | 同步读出的大阵列动态视觉传感器及读出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |