CN114222034B - 实现事件与灰度值同步输出的动态视觉传感器像素电路 - Google Patents

Abstract

本发明公开了一种实现事件与灰度值同步输出的动态视觉传感器像素电路，主要解决现有技术静态分辨率低，无法重构图像的问题。其包括动态视觉传感器(1)、有源像素传感器(2)。其中，有源像素传感器包括多个传感器像素单元，这些传感器像素单元与动态视觉传感器之间连接有逻辑电路(3)，该逻辑电路根据动态视觉传感器输出的ON或OFF事件和外部输入的应答信号输出两路控制信号A和B，以同时控制多个有源像素图像传感器灰度值的输出，实现动态视觉传感器的输出事件与有源像素传感器输出的灰度值同步。本发明有效解决了事件与灰度值更新不匹配的问题，提高了图像传感器的静态分辨率，以利于重构图像，可用于微电子技术中的传感器同步输出。

Description

实现事件与灰度值同步输出的动态视觉传感器像素电路

技术领域

本发明属于电子电路技术领域，更进一步涉及一种的动态视觉传感器像素电路，可用于微电子技术中图像传感器的事件信息与灰度值信息的同步输出。

背景技术

传统的图像传感器以固定帧率输出图像绝对光强信息，可以重构图像的细节纹理信息，但数据量大、功耗大，在高速、亮度极高或光线极差时不能很好地获取图像信息。动态视觉传感器模拟生物视网膜处理信息的机制，在外部光照条件发生变化时，图像传感器像素电路阵列中的像素电路异步产生一个脉冲事件，然后通过AER通信协议进行传输，最终输出脉冲事件对应的地址信息，但因为动态视觉传感器输出的是识别到光照条件变化的像素地址信息，当光强信息不变化时没有输出，而不是像传统图像传感器一样，在固定时间间隔下全局输出灰度值信息，所以动态视觉传感器具有数据量小、低功耗、快速响应的特点。但是，仅有事件的地址信息无法重构图像，许多应用场景可以通过仅处理亮度变化事件来解决，但有些应用场景还需要某种形式的静态输出，即“绝对”亮度。为了解决这个问题，同时输出动态和静态信息的图像传感器已经有了一些发展。

三星电子株式会社在申请号201910856811.4的专利申请文献中提出了一种含CMOS图像传感器像素和动态视觉传感器像素的图像传感器。该电路由CMOS图像传感器CIS像素、动态视觉传感器DVS和图像信号处理器组成。CIS像素包括光电转换器件和读出电路，用于生成与电荷对应的输出电压；DVS像素不包含单独的光电转换器件，基于CIS中的电荷来检测入射光的强度的变化，输出脉冲事件信号；图像信号处理器使光电转换器件能够连接到读出电路或DVS像素，基于由CIS像素生成的输出电压生成图像传感器的第一图像数据，并基于由DVS像素生成的事件信号生成第二图像数据。该图像传感器虽然能够输出事件和灰度值，但是该方法仍然存在的不足之处是，无法保证事件与灰度值的同步输出，可能会出现事件与灰度值更新不匹配的问题。

华为技术有限公司在申请号为202010451017.4的专利申请文献中提出一种提出了一种保证动态视觉信息与图像灰度信号的同步的图像信号处理方法及装置、电子设备。该图像信号处理装置包括多个像素组，每个像素组中包含至少两个子像素，每个子像素都包含一个感光电路。该图像信号处理方法包括：在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；将像素组中的任一子像素发出的电信号发送至DVS电路，其中DVS电路根据任一子像素发出的电信号确定生成事件信号；将像素组中除任一子像素之外的其他子像素发出的电信号发送至有源像素图像传感器APS电路，APS电路根据像素组中除任一子像素之外的其他子像素发出的电信号生成图像灰度信号。虽然APS电路和DVS电路均能输出，但是该图像信号处理方法中，由于APS电路与DVS电路是独立工作的，且子像素发出的电信号传输到APS和DVS的过程较复杂，因而无法保证事件与灰度信息的同步，仍会出现事件与灰度值更新不匹配的问题。

重庆鲁班机器人技术研究院有限公司在申请号为201910256226.0的专利文献中惕出一种输出动态视觉信息与图像灰度信号的图像传感器，如图1所示。该图像传感器，包括相连接的有源像素传感器、动态视觉传感器及晶体管MN5。其中，有源像素传感器包括4个晶体管MN1-MN4，动态视觉传感器包括3个晶体管MN6、MN7、MP1、电容放大器、第一共源静态反相比较器及第二共源静态反相比较器。该图像传感器中有源像素传感器和动态视觉传感器共用一个光电二极管，且有源像素传感器可以补充静态纹理信息。但在该图像传感器中由于APS电路动态范围有限，且静态分辨率较低，使得输出的静态纹理信息仍有缺陷，无法重构图像。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种实现事件与灰度值同步输出的动态视觉传感器像素电路，以使传感器输出的事件信息与灰度值更新相匹配，保全静态纹理信息，利于重构图像。

本发明的技术思路是，通过采用动态视觉传感器像素与多个有源像素图像传感器像素结合的方式，使其能够输出脉冲事件和对应的像素灰度信息，保证细节纹理信息，利于重构图像；动态视觉传感器像素电路通过逻辑电路输出的控制信号控制有源像素图像传感器像素电路的输出，实现脉冲事件信息和对应的像素灰度信息的同步，避免出现更新不匹配的问题。其实现方案如下：

一种实现事件与灰度值同步输出的动态视觉传感器像素电路，包括动态视觉传感器1和有源像素传感器2，其特征在于：所述有源像素传感器包括多个传感器像素单元，这些传感器像素单元与动态视觉传感器1之间连接有逻辑电路3，该逻辑电路3根据动态视觉传感器1输出的ON事件或OFF事件和外部输入的应答信号CRA输出两路控制信号A和B，同时控制多个有源像素图像传感器灰度值的输出，实现动态视觉传感器的输出事件与有源像素传感器输出的灰度值同步。

进一步，所述逻辑电路3包括两个反相器I1、I2，一个与非门NA，四个PMOS管MP2、MP3、MP4、MP5，以及六个NMOS管MN1、MN2、MN3、MN4、MN5、MN6，这些元件之间的连接关系如下：

第一反相器I1，其输入连接外部返回的行应答信号RRA，其输出信号A为第一路控制信号；

第二反相器I2，其输入连接外部返回的列应答信号CRA，输出端连接第五NMOS管MN5的栅极；

与非门NA，其输入为第二反相器I2的输出和第一反相器I1的输出信号A，其输出RST连接动态视觉传感器1；

第二PMOS管MP2，其栅极连接第一反相器I1的输出信号A，源极连接电源电压，其漏极连接第三PMOS管MP3和第四PMOS管MP4的源极；

第三PMOS管MP3和第四PMOS管MP4，其栅极分别接动态视觉传感器1输出的ON和OFF信号，其漏极输出信号B为第二路控制；第五PMOS管MP5，其栅极连接第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B，漏极连接与非门NA的使能端，源极连接电源电压；

第一NMOS管MN1，其栅极连接第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B，漏极为输出端RR，源极接地，

第二NMOS管MN2，其源极接地，漏极连接第三NMOS管MN3的源极，

第三NMOS管MN3，其漏极连接输出端CR，栅极连接第一反相器I1的输出信号A；

第四NMOS管MN4，其栅极连接第一反相器I1的输出信号A，漏极连接第六NMOS管MN6的栅极，源极连接第五NMOS管MN5的漏极；

第五NMOS管MN5，其源极接地，

第六NMOS管MN6，其漏极连接与非门NA的输出信号RST，源极接地。

进一步，所述有源像素图像传感器2，设有四个传感器像素单元，每个像素单元均包括有源像素的IV转换电路及输出电路；

该有源像素的IV转换电路，包括第二光电二极管PD和栅漏短接的PMOS管GL，该光电二极管PD用于将光强信息转换成光电流，该栅漏短接的PMOS管GL用于将光电二极管的光电流转换成光电压；第二光电二极管PD的正端接地，负端连接栅漏短接的PMOS管GL的漏极，栅漏短接的PMOS管GL的源极连接电源电压；

该输出电路，包括两个开关管S1、S2和源跟随器SF，该第一开关管S1用于接收逻辑电路3输出的第二路控制信号B，在动态视觉传感器1产生ON信号或OFF信号后，向源跟随器SF传输有源像素的IV转换电路转换的光电压值；该第二开关管S2的栅极用于接收逻辑电路3输出的第一路控制信号A，在逻辑电路3收到行应答信号RRA后，将光电压值传输到列总线，实现灰度值的输出。

进一步，所述动态视觉传感器1包括动态视觉的IV转换电路、开关电容放大器和阈值比较器，该动态视觉的IV转换电路转换用于将外部光强变化，芯片外部的光强变化通过光电二极管转换为光电流的变化转换为输出电压的变化；该开关电容放大器用于对输出电压的变化量放大处理后，将其与设定好的上下阈值比较器进行比较，最终将光强变化量量化为ON事件或OFF事件，将ON信号或OFF信号发送到逻辑电路3。

本发明与现有技术相比，具有如下优点：

第一，本发明由于采用多个有源像素图像传感器像素单元组成动态视觉传感器像素电路，不仅可以输出事件地址信息和像素灰度值信息，克服了动态视觉传感器只具有事件脉冲对应的地址编码，不具备细节纹理信息的缺陷，而且提高了图像传感器的静态分辨率；

第二，本发明由于在动态视觉传感器与有源像素图像传感器之间设置了逻辑电路，通过动态视觉传感器输出的事件信号控制逻辑电路输出两路控制信号，控制有源像素图像传感器中每个像素单元的输出，有效解决了事件与灰度值更新不匹配的问题，使得事件与灰度值能同步输出，进一步保全了静态纹理信息，利于重构图像。

附图说明

图1为现有图像传感器电路图；

图2为本发明的整体电路示意图；

图3为本发明中动态视觉传感器的电路图；

图4为本发明中的逻辑电路图；

图5为本发明中有源像素图像传感器的电路图。

具体实施方式

下面结合附图对本发明的实施例作进一步详细说明。

参照图2，对本实例的整体电路包括动态视觉传感器1、有源像素图像传感器2和逻辑电路3。

所述动态视觉传感器1，用于识别外部光强信息变化，输出ON信号或OFF信号；

所述逻辑电路3，连接在动态视觉传感器1与有源像素图像传感器2之间，根据动态视觉传感器1输出的ON信号或OFF信号和外部输入的应答信号CRA，输出两路控制信号A和B，以及行请求信号RR和列请求信号CR；

所述有源像素图像传感器2，包括多个传感器像素单元，用于接收逻辑电路3输出的两路控制信号A和B，并在该两路控制信号A和B的控制下输出光电压值，实现动态视觉传感器的输出事件与有源像素传感器输出的灰度值同步，即动态视觉传感器1根据外部光强信息变化输出的ON信号或OFF信号对应的事件信息与有源像素传感器2输出的电压值大小同步。

参照附图3，所述动态视觉传感器像素单元1，包括动态视觉的IV转换、开关电容放大器以及阈值比较器，其中：

所述动态视觉的IV转换电路，包括第一光电二极管D1和第一PMOS管MP1；该第一PMOS管MP1的栅极与漏极连接，源极连接电源电压，用于将光电二极管的光电流转换成光电压；该光电二极管D1用于将光强信息转换成光电流，其正端接地，负端连接第一PMOS管MP1的漏极，当其识别到芯片外部的光强变化信息时，通过第一PMOS管MP1将光信号转换为电信号。

所述开关电容放大器，采用反相放大器，其输入端连接动态视觉的IV转换电路的输出，复位控制端连接逻辑电路3中与非门NA的输出信号RST，通过与非门NA的输出信号RST控制其工作状态，输出端连接阈值比较器，用于对动态视觉的IV转换电路输出电压的变化量进行放大处理。

所述的阈值比较器电路，包括两个比较器C1和C2，该第一比较器C1的正输入端连接上阈值电压V1，负输入端连接开关电容放大器的输出，输出为ON信号；该第二比较器C2的正输入端连接开关电容放大器的输出，负输入端连接下阈值电压V2，输出端OFF信号，将开关电容放大器的输出电压与设定好的上阈值电压V1和下阈值电压V2进行比较，将光强变化量量化为ON事件或OFF事件，最后将ON信号或OFF信号发送到逻辑电路3。

参照图4，所述逻辑电路3包括两个反相器I1、I2，一个与非门NA，四个PMOS管MP2、MP3、MP4、MP5，以及六个NMOS管MN1、MN2、MN3、MN4、MN5、MN6，其中：

所述两个反相器I1、I2，其第一反相器I1的输入连接外部返回的行应答信号RRA，初始状态中行应答信号RRA为高电平，其输出信号A为第一路控制信号；第二反相器I2，其输入连接外部返回的列应答信号CRA，初始状态中列应答信号CRA为高电平，输出端连接第五NMOS管MN5的栅极；

所述与非门NA，其输入为第二反相器I2的输出和第一反相器I1的输出信号A，其输出RST连接动态视觉传感器1，该RST的初始为高电平状态；

所述四个PMOS管，其第二PMOS管MP2的栅极连接第一反相器I1的输出信号A，源极连接电源电压，漏极连接第三PMOS管MP3和第四PMOS管MP4的源极，由于第一反相器I1的输出信号A初始为低电平，因此第一PMOS管MP2初始为导通状态；第三PMOS管MP3和第四PMOS管MP4，其栅极分别接动态视觉传感器1输出的ON和OFF信号，其漏极输出信号B为第二路控制信号，若收到低电平状态的ON信号或OFF信号，则第三PMOS管MP3或第四PMOS管MP4导通，漏极输出信号B为高电平；第五PMOS管MP5，其栅极连接第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B，漏极连接与非门NA的使能端，源极连接电源电压，主要控制与非门NA的工作状态；

所述六个NMOS管，其第一NMOS管MN1的栅极连接第二PMOS管MP3和第三PMOS管MP4的漏极输出信号B，漏极为输出端RR，源极接地，若第二PMOS管MP3和第三PMOS管MP4的漏极输出的信号B为高电平，则第一NMOS管MN1导通，漏极输出有效的低电平行请求信号RR；第二NMOS管MN2，其源极接地，漏极连接第三NMOS管MN3的源极，第三NMOS管MN3，其漏极连接输出端CR，栅极连接第一反相器I1的输出信号A，第二NMOS管MN2和第三NMOS管MN3在第一反相器I1的输出信号A和第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B的控制下，产生有效的低电平列请求信号CR；第四NMOS管MN4，其栅极连接第一反相器I1的输出信号A，漏极连接第六NMOS管MN6的栅极，源极连接第五NMOS管MN5的漏极；第五NMOS管MN5，其源极接地，若收到为低电平的行应答信号RRA和列应答信号CRA，第四NMOS管MN4和第五NMOS管MN5将第三PMOS管MP3和第四PMOS管MP4的漏极输出的信号B进行复位；第六NMOS管MN6，其漏极连接与非门NA的输出信号RST，源极接地，主要用于将第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B的状态锁存。

参照图5，所述有源像素图像传感器2，包括有源像素的IV转换电路及输出电路；

所述有源像素的IV转换电路，包括第二光电二极管PD和栅漏短接的PMOS管GL，该光电二极管PD用于将光强信息转换成光电流，其正端接地，负端连接栅漏短接的PMOS管GL的漏极；该栅漏短接的PMOS管GL的源极连接电源电压，用于将光电二极管的光电流转换成光电压。

所述输出电路，包括两个开关管S1、S2和源跟随器SF，在动态视觉传感器像素单元1产生ON信号或OFF信号后，该第一开关管S1接收逻辑电路3输出的高电平状态的第二路控制信号B，向源跟随器SF传输有源像素的IV转换电路转换的光电压值，在逻辑电路3收到低电平状态的行应答信号RRA后，该第二开关管S2的栅极接收逻辑电路3输出的高电平状态的第一路控制信号A，将光电压值传输到列总线COL，实现像素灰度值的输出。若逻辑电路3输出的两个控制信号A和B中有任意一个为低电平状态，则两个开关管S1或S2为关闭状态，光电压无法通过，有源像素图像传感器像素单元2无输出。

本发明的工作原理如下:

当照射到动态视觉传感器像素单元1中的第一光电二极管D1上的外部光强发生变化时，该光强变化量在动态视觉传感器像素单元1中经过动态视觉的IV转换电路、开关电容电路和阈值比较器进行处理，将光强变化量处理为输出的ON事件信号或OFF事件信号；逻辑电路3接收到有效的ON信号或OFF信号，输出有效的行请求信号RR、列请求信号CR和第二路控制信号B，若逻辑电路3收到有效的行应答信号RRA，则输出有效的第一路控制信号A；有源像素图像传感器像素单元2同步接收外部光强信息，通过有源像素的IV转换电路进行光信号与电信号的转换，输出电路根据逻辑电路3输出的两路控制信号A和B控制开关管S1、S2进行光电压的传输，最终输出表示像素灰度信息的光电压值，动态视觉传感器像素单元1通过逻辑电路3控制有源像素图像传感器像素单元2的输出，实现事件信息与灰度值信息的同步输出。

Claims (7)

1.一种实现事件与灰度值同步输出的动态视觉传感器像素电路，包括动态视觉传感器（1）和有源像素传感器（2），其特征在于：所述有源像素传感器包括多个传感器像素单元，这些传感器像素单元与动态视觉传感器（1）之间连接有逻辑电路（3），该逻辑电路（3）根据动态视觉传感器（1）输出的ON事件或OFF事件和外部输入的应答信号CRA输出两路控制信号A和B，同时控制多个有源像素图像传感器灰度值的输出，实现动态视觉传感器的输出事件信息与有源像素传感器输出的灰度值同步；

所述逻辑电路（3）包括两个反相器I1、I2，一个与非门NA，四个PMOS管MP2、MP3、MP4、MP5，以及六个NMOS管MN1、MN2、MN3、MN4、MN5、MN6，这些元件之间的连接关系如下：

第一反相器I1，其输入连接外部返回的行应答信号RRA，其输出信号A为第一路控制信号；

第二反相器I2，其输入连接外部返回的列应答信号CRA，输出端连接第五NMOS管MN5的栅极；

与非门NA，其输入为第二反相器I2的输出和第一反相器I1的输出信号A，其输出RST连接动态视觉传感器（1）；

第二PMOS管MP2，其栅极连接第一反相器I1的输出信号A，源极连接电源电压，其漏极连接第三PMOS管MP3和第四PMOS管MP4的源极；

第三PMOS管MP3和第四PMOS管MP4，其栅极分别接动态视觉传感器（1）输出的ON和OFF信号，其漏极输出信号B为第二路控制；

第五PMOS管MP5，其栅极连接第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B，漏极连接与非门NA的使能端，源极连接电源电压；

第一NMOS管MN1，其栅极连接第三PMOS管MP3和第四PMOS管MP4的漏极输出信号B，漏极为输出端RR，源极接地，

第二NMOS管MN2，其源极接地，漏极连接第三NMOS管MN3的源极，

第三NMOS管MN3，其漏极连接输出端CR，栅极连接第一反相器I1的输出信号A；

第四NMOS管MN4，其栅极连接第一反相器I1的输出信号A，漏极连接第六NMOS管MN6的栅极，源极连接第五NMOS管MN5的漏极；

第五NMOS管MN5，其源极接地，

第六NMOS管MN6，其漏极连接与非门NA的输出信号RST，源极接地；

所述有源像素图像传感器（2），设有四个传感器像素单元（21，22，23，24）；

所述逻辑电路（3）中第三PMOS管MP3和第四PMOS管MP4漏极输出的信号B与有源像素图像传感器（2）中每个传感器像素单元的第一开关管S1栅极连接，控制该第一开关管S1的通与断；逻辑电路（3）中第一反相器I1输出的信号A与有源像素图像传感器（2）中每个传感器像素单元的第二开关管S2栅极连接，控制该第二开关管S2的通与断；四个传感器像素单元（21，22，23，24）并行工作，每个传感器像素单元通过两个开关管S1、S2的导通输出相互独立的四路光电压值，每路光电压值代表着每个传感器像素单元识别到的灰度值信息。

2.根据权利要求 1 所述的电路，其特征在于：所述传感器像素单元（21，22，23，24），每个像素单元均包括有源像素的IV转换电路及输出电路；

所述有源像素的IV转换电路，包括第二光电二极管PD和栅漏短接的PMOS管GL，该光电二极管PD用于将光强信息转换成光电流，该栅漏短接的PMOS管GL用于将光电二极管的光电流转换成光电压；第二光电二极管PD的正端接地，负端连接栅漏短接的PMOS管GL的漏极，栅漏短接的PMOS管GL的源极连接电源电压；

所述输出电路，包括两个开关管S1、S2和源跟随器SF，第一开关管S1用于接收逻辑电路（3）输出的第二路控制信号B，在动态视觉传感器（1）产生ON信号或OFF信号后，向源跟随器SF传输有源像素的IV转换电路转换的光电压值；第二开关管 S2的栅极用于接收逻辑电路（3）输出的第一路控制信号A，在逻辑电路（3）收到行应答信号RRA后，将光电压值传输到列总线，实现灰度值的输出。

3.根据权利要求 1 所述的电路，其特征在于：所述动态视觉传感器（1）包括动态视觉的IV转换电路、开关电容放大器和阈值比较器，该动态视觉的IV转换电路转换用于将外部光强变化，芯片外部的光强变化通过光电二极管转换为光电流的变化转换为输出电压的变化；该开关电容放大器用于对输出电压的变化量放大处理后，将其与设定好的上下阈值比较器进行比较，最终将光强变化量量化为ON事件或OFF事件，将ON信号或OFF信号发送到逻辑电路（3）。

4.根据权利要求3所述的电路，其特征在于：所述动态视觉的IV转换电路，包括第一光电二极管D1和第一PMOS管MP1，该第一光电二极管D1用于将光强信息转换成光电流，其正端接地，负端连接第一PMOS管MP1的漏极；该第一PMOS管MP1的栅极与漏极连接，源极连接电源电压，用于将光电二极管的光电流转换成光电压。

5.根据权利要求 3所述的电路，其特征在于：所述的阈值比较器电路，包括两个比较器C1和C2，第一比较器C1的正输入端连接上阈值电压V1，负输入端连接开关电容放大器的输出，输出为ON信号；第二比较器C2的正输入端连接开关电容放大器的输出，负输入端连接下阈值电压V2，输出端OFF信号。

6.根据权利要求 3所述的电路，其特征在于：所述的开关电容放大器，采用反相放大器，输入端连接动态视觉的IV转换电路的输出，复位控制端连接逻辑电路（3）中与非门NA的输出信号RST，以控制其工作状态，输出端连接阈值比较器电路中两个比较器C1、C2的输入。

7.根据权利要求1或 3 所述的电路，其特征在于：动态视觉传感器（1）中阈值比较器的输出信号ON或OFF分别与逻辑电路（3）中的第二PMOS管MP2和第三PMOS管MP3的栅极连接，控制PMOS管MP2和MP3的导通或关断；动态视觉传感器（1）中开关电容放大器的复位控制端与逻辑电路（3）中与非门NA的输出信号RST相连，根据逻辑电路（3）接收到的行应答信号RRA决定开关电容放大器是否复位。

Images