CN117692807A

CN117692807A - 一种视觉传感器芯片

Info

Publication number: CN117692807A
Application number: CN202311420669.1A
Authority: CN
Inventors: 赵蓉; 陈雨过; 王韬毅; 林逸晗; 施路平
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2023-10-30
Filing date: 2023-10-30
Publication date: 2024-03-12

Abstract

本发明提供一种视觉传感器芯片，所述视觉传感器芯片包括由像素单元构成的像素阵列；其中，每一个像素单元具有对应的时间差分通路和空间差分通路或者具有对应的强度通路、时间差分通路和空间差分通路。本发明将人类视觉系统的双通路特征融入到现有的视觉传感器芯片中，从而能够大幅度提升视觉传感器芯片对时空动态信息的感知能力，实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

Description

一种视觉传感器芯片

技术领域

本发明涉及光电成像技术领域，尤其涉及一种视觉传感器芯片。

背景技术

视觉传感器是一种用于感知环境中可见光信息并转换为电信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。

目前，常见的视觉传感器是基于帧的CMOS图像传感器(CIS)，它像素内部集成了晶体管来实现高性能电荷电压转换，因此又被称为有源像素传感器(APS)。CIS通过基于帧的采样原理实现视频的拍摄，即CIS的每帧图像都会记录像素阵列中所有像素单元的输出且每帧都是等时间间隔的。此外，CIS通过像素阵列上覆盖的彩色滤光片阵列(CFA)来感知不同波长的可见光，从而得到彩色图像。可以说，CIS具有像素阵列分辨率高，色彩还原度高，图像质量高的优势。但是它存在拍摄速度慢的问题。这是由于CIS保留了每一帧内的所有像素信息，使得数据量过大，在有限带宽下难以提高拍摄速度。为克服这一问题，动态视觉传感器(DVS)应运而生。动态视觉传感器(DVS)与CIS像素记录入射光的光强值不同，DVS的每个像素单元记录相应位置的入射光的光强变化量，且只有当变化量超过一定阈值的时候才会输出一个正向或负向的脉冲(表示光强减弱或光强增加)。DVS可以异步地输出信号，即只要某个像素满足脉冲发放条件，就会立即输入信号，而此时其他像素没有输出。这大大地减小了数据量，降低了数据冗余，实现了极高的时间分辨率。并且由于DVS具有对变化敏感且高速记录的特性，它对运动监测等任务具有天然的适应性。然而，单纯的DVS仅仅感知了光强变化，虽然数据冗余极低，但是损失了大量的色彩信息，像素精度也有所不足(仅仅只能输出正向和负向的脉冲，不能感知光强变化程度)。此外，DVS像素由于电路复杂，单个像素的面积比CIS像素大很多，难以实现高空间分辨率。

因此，本发明亟需提供一种改进的视觉传感器。

发明内容

为克服上述问题，本发明提供一种视觉传感器芯片，将人类视觉系统的双通路特征融入到现有的视觉传感器芯片中，从而能够大幅度提升视觉传感器芯片对时空动态信息的感知能力，实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

第一方面，本发明提供一种视觉传感器芯片，所述芯片包括由像素单元构成的像素阵列；

对于每一个像素单元，所述像素单元具有对应的时间差分通路和空间差分通路；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

其中，所述时间差分值为所述像素单元内部的感光子单元的当前时刻输出值与上一时刻输出值之间的差分与量化结果；

所述空间差分值为所述感光子单元的当前时刻输出值与目标感光子单元的当前时刻输出值之间的差分与量化结果；

所述目标感光子单元所处的像素单元为像素阵列中除所述像素单元之外的任意像素单元。

根据本发明提供的视觉传感器芯片，所述时间差分通路包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元和时间差分与量化器；

所述空间差分通路包括所述感光子单元、所述差分用存储子单元和空间差分与量化器；

其中，所述时间差分与量化器部署于所述像素单元内部，或者部署于所述像素单元外部并由所述像素单元及其同处一列的像素单元共用；

所述空间差分与量化器部署于所述像素单元内部，或者部署于所述像素单元外部并由所述像素单元及其同处一列的像素单元共用；

所述感光子单元，用于将所述像素单元当前时刻入射光的光强转换为电信号输出；

所述差分用存储子单元用于写入所述感光子单元的当前时刻输出值；其中，所述差分用存储子单元包括第一存储节点和第二存储节点，其在所述感光子单元的上一时刻输出值写入在所述第一存储节点/所述第二存储节点中的情况下，将所述感光子单元的当前时刻输出值写入在所述第二存储节点/所述第一存储节点；

所述时间差分与量化器，用于计算并输出所述时间差分值；

所述空间差分与量化器，用于基于所述目标感光子单元的当前时刻输出值计算并输出所述空间差分值。

根据本发明提供的视觉传感器芯片，所述像素阵列中每一个像素单元中设置一个触发脉冲发生器；

或者

所述像素阵列中所有像素单元共同连接一个触发脉冲发生器；

或者

将所述像素阵列分成多个子区域，每个子区域中所有像素单元共同连接一个触发脉冲发生器；

其中，所述触发脉冲发生器用于以固定时间间隔产生触发信号，或者以自适应、可编程的可变间隔产生触发信号，以控制对应感光子单元的开始曝光时刻与曝光时长。

根据本发明提供的视觉传感器芯片，连接同一个触发脉冲发生器的像素单元同步曝光，连接不同触发脉冲发生器的像素单元同步曝光或异步曝光。

第二方面，本发明提供一种视觉传感器芯片，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。

根据本发明提供的视觉传感器芯片，所述芯片包括由像素单元构成的像素阵列；

对于每一个像素单元，所述像素单元具有对应的强度通路、时间差分通路和空间差分通路；

所述强度通路，用于输出所述像素单元内部的感光子单元的当前时刻输出值的量化值；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

根据本发明提供的视觉传感器芯片，所述强度通路包括所述感光子单元、部署于所述像素单元内部的第一单元和强度用量化器，或者包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元、部署于所述像素单元内部的分频选通器和强度用量化器；

所述时间差分通路包括所述感光子单元、所述差分用存储子单元和所述时间差分与量化器；

所述空间差分通路包括所述感光子单元、所述差分用存储子单元和所述空间差分与量化器；

所述强度用量化器部署于所述像素单元内部，或者部署于所述像素单元外部并由所述像素单元及其同处一列的像素单元共用；

其中，所述感光子单元，用于将所述像素单元当前时刻入射光的光强转换为电信号输出；

所述第一单元用于当所述感光子单元采用滚动曝光时将所述感光子单元的当前时刻输出值送入强度用量化器；当所述感光子单元不采用滚动曝光时缓存并输出所述感光子单元的当前时刻输出值；

所述分频选通器，用于对所述差分用存储子单元写入的所述感光子单元的当前时刻输出值进行低频采样；

所述强度用量化器，用于量化并输出所述第一单元的输出值；

所述时间差分与量化器，用于计算并输出所述时间差分值；

根据本发明提供的视觉传感器芯片，所述强度通路输出为灰度值或彩色值；

在所述强度通路输出为彩色值时，所述时间差分与量化器/所述空间差分与量化器中均嵌入了一个外部可编程的去马赛克器，用于在计算所述时间差分值/所述空间差分值之前，根据所述像素单元及其周围单元强度通路输出的彩色值，确定所述像素单元所有颜色通道的输出值。

或者

根据本发明提供的视觉传感器芯片，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。

本发明提供一种视觉传感器芯片，所述视觉传感器芯片中每一个像素单元具有唯一对应的时间差分通路和空间差分通路或者具有唯一对应的光强量化通路、时间差分通路和空间差分通路。本发明将人类视觉系统的双通路特征融入到现有的视觉传感器芯片中，从而能够大幅度提升视觉传感器芯片对时空动态信息的感知能力，实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的视觉传感器芯片的结构示意图之一；

图2是本发明提供的乒乓缓存的结构框图；

图3是本发明提供的乒乓缓存电路设计图；

图4是本发明提供的时间差分与量化器器和空间差分与量化器均布置在像素内时的像素单元结构示意图之一；

图5是本发明提供的时间差分与量化器器和空间差分与量化器器均布置在像素内时的像素单元结构示意图之二；

图6是本发明提供的芯片内像素单元之间通信连接示意图；

图7是本发明提供的时间差分与量化器器和空间差分与量化器器均布置在像素外时的像素单元结构示意图之一；

图8是本发明提供的触发脉冲信号示意图；

图9是本发明提供的视觉传感器芯片的结构示意图之二；

图10是本发明提供的时间差分与量化器、空间差分与量化器和强度用量化器均布置在像素内时的像素单元结构示意图之一；

图11是本发明提供的时间差分与量化器、空间差分与量化器和强度用量化器均布置在像素内时的像素单元结构示意图之二；

图12是本发明提供的时间差分与量化器和空间差分与量化器布置在像素外且强度用量化器布置在像素内时的像素单元结构示意图。

图13是本发明提供的时间差分与量化器、空间差分与量化器和强度用量化器均布置在像素内时的像素单元结构示意图之三；

图14是本发明提供的时间差分与量化器、空间差分与量化器和强度用量化器均布置在像素内时的像素单元结构示意图之四。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图14描述本发明的视觉传感器芯片和视觉传感器。

首先解释本发明缩略语和关键技术术语定义：

APS：有源像素传感器

CFA：彩色滤光片阵列

CIS：CMOS图像传感器

DAVIS：动态有源像素视觉传感器

DVS：动态视觉传感器

EVS：基于事件的视觉传感器

fps：帧每秒(帧率单位)

PD：光电二极管

SD：空间差分

TD：时间差分

第一方面，现有DVS技术存在下述几点缺陷：

一：单值信号精度有限

DVS输出±1bit信息(例如+表示光强增加，-表述光强减弱，0表示光强不变，进而通过±1bit信息输出正向和负向的脉冲，不能感知光强变化程度)，导致其容易受噪声干扰，信息量低，无法适应复杂的环境。

二：缺少空间差分信息

同时，人类的视觉系统，同时感知时空变化量，对外界更敏感和鲁棒。而DVS只能输出视觉信号在时间上的变化信息，这一信息非常容易被干扰(例如当外界有闪烁光时，DVS便会失效，无法分离光源变化和运动导致信号变化)，缺乏空间差分信息。

鉴于此，本发明提供一种视觉传感器芯片，所述芯片包括以阵列排布的多个像素单元；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

具体的，本发明实现了2通路输出的视觉传感器。2通路分别是：时间差分通路TD与空间差分通路SD。

其中，TD通路输出当前像素单元(x,y)在t_n时刻的时间差分值TD(x,y,t_n)，用公式表示为：

TD(x,y,t_n)＝Q_TD(I(x,y,t_n)-I(x,y,t_n-1))

上式中，I(x,y,t_n)和I(x,y,t_n-1)分别为当前像素单元(x,y)内部的感光子单元在t_n时刻和其上一时刻t_n-1的输出值，Q_TD为时间差分通路所用的量化方法。

SD通路输出当前像素单元(x,y)在t_n时刻的空间差分值SD_*(x,y,t_n)，用公式表示为：

SD_*(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x_*,y_*,t_n))

上式中，I(x_*,y_*,t_n)为目标感光子单元在t_n时刻(当前时刻)的输出值；

其中，目标感光子单元所处的像素单元为像素阵列中除所述像素单元之外的任意像素单元。

目标感光子单元可能为一个也可能为多个，从而衍生以下几种情况：

(1)目标感光子单元为一个时，SD通路只对某一方向进行差分。

(2)目标感光子单元为两个(分别记为第一目标感光子单元和第二目标感光子单元)且第一目标感光子单元所处的像素单元、第二目标感光子单元所处的像素单元和所述像素单元同处于一条直线时，SD通路只对一个方向进行差分；此时，所述像素单元的差分精确度比(1)高。

(3)目标感光子单元为两个(分别记为第一目标感光子单元和第二目标感光子单元)且第一目标感光子单元所处的像素单元、第二目标感光子单元所处的像素单元和所述像素单元不处于一条直线时，SD通路对两个方向进行差分；此时，所述像素单元可以获得多个方向的空间差分信息。

(4)目标感光子单元为多个(大于两个)且所有感光子单元所处的像素单元和所述像素单元的连线为一条直线时，SD通路只对一个方向进行差分，此时所述像素单元的差分精确度比(2)高。

(5)目标感光子单元为多个(大于两个)且所有感光子单元所处的像素单元和所述像素单元的连线不为一条直线时，SD通路至少对两个方向进行差分。

可以看出，所述像素单元的差分精确度主要受差分方向个数以及目标感光子单元个数的影响，事实上，所述像素单元的差分精确度还受目标感光子单元所处像素单元与所述像素单元之间的距离的影响，因此，本发明优选目标感光子单元包含第一目标感光子单元和第二目标感光子单元；所述第一目标感光子单元所处的像素单元(后续称第一像素单元)和所述第一目标感光子单元所处的像素单元(后续称第二像素单元)均与所述像素单元相邻，且所述第一像素单元、所述像素单元和所述第二像素单元的连线不处于同一条直线上。

例如：所述第一像素单元和所述第二像素单元分别为像素单元(x+1,y)和像素单元(x,y+1)；这里1指的是1个像素单位的间距。

此时，SD通路输出像素单元(x,y)在t_n时刻像素值与像素单元(x+1,y)在t_n时刻像素值之间的空间差分值SD_x(x,y,t_n)，以及像素单元(x,y)在t_n时刻像素值与像素单元(x,y+1)在t_n时刻像素值之间的空间差分值SD_y(x,y,t_n)；

SD_x(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x+1,y,t_n))

SD_y(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x,y+1,t_m))

I(x,y+1,t_n)

或者例如所述第一像素单元和所述第二像素单元分别为像素单元(x-1,y+1)和像素单元(x+1,y+1)；此时，SD通路输出像素单元(x,y)在t_n时刻像素值与像素单元(x-1,y+1)在t_n时刻像素值之间的空间差分值SD_↙(x,y,t_n)，以及像素单元(x,y)在t_n时刻像素值与像素单元(x+1,y+1)在t_n时刻像素值之间的空间差分值SD_↘(x,y,t_n)；

SD_↙(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x+1,y+1,t_n))

SD_↘(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x-1,y+1,t_n))

上式中，Q_SD为空间差分通路所用的量化方法。

I(x+1,y,t_n)、I(x,y+1,t_n)、I(x+1,y+1,t_n)和I(x-1,y+1,t_n)分别为像素单元(x+1,y)、(x,y+1)、(x+1,y+1)和I(x-1,y+1)内部的感光子单元在t_n时刻的输出值。

以上涉及的所有信号均为三维量，包含x，y的空间二维量和时间维度t。

图1是对应的视觉传感器芯片的结构示意图，其以第一像素单元和所述第二像素单元分别为(x+1,y)和元(x,y+1)为例示意。

本发明提供的视觉传感器芯片，将人类视觉系统的双通路特征融入到现有的视觉传感器芯片中，从而能够大幅度提升视觉传感器芯片对时空动态信息的感知能力，实现高精度、高帧率、高动态范围且高效鲁棒的视觉表示。

在上述各实施例的基础上，作为一种可选的实施例，所述时间差分通路包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元和时间差分与量化器；

可以理解的是，感光子单元输出值是电荷、电压和电流等电信号，表征的是当前时刻当前像素位置感受的入射光光强大小，光强越大，像素值越高。

可以理解的是，为了构建时间差分通路和空间差分通路，本发明在每个像素单元内部设置两个存储节点(第一存储节点和第二存储节点，第一存储节点和第二存储节点采用乒乓缓存方式缓存数据，乒乓缓存的意思是如果感光单元本时刻存储在第一存储节点，则下一时刻存储在第二存储节点，再下一时刻存储在第一存储节点，如此交替往复)，输出两个时刻信号(I(x,y,t_n)，I(x,y,t_n-1))。

图2是乒乓缓存的结构框图。图3给出了一种可能的具体的电路设计，实际的电路原理图不止一种。

所述时间差分与量化器，用于计算并输出所述时间差分值；

所述空间差分与量化器器，用于基于所述目标感光子单元的当前时刻输出值计算并输出所述空间差分值。

换言之，根据时间差分与量化器和空间差分与量化器是否布置在像素内，本发明给出了四种像素单元结构示意图。

第一种：每一个像素单元内均设置一个时间差分与量化器和一个空间差分与量化器；

图4和图5为时间差分与量化器和空间差分与量化器均布置在像素内时的像素单元结构示意图，图4以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。图5以第一像素单元和第二像素单元分别为(x-1,y+1)和(x+1,y+1)为例示意。第一种采用像素单元读出方式，即每一个像素单元直接读出时间差分值与空间差分值。

需要说明的是，由于差分量化通路的存在，像素阵列中每一个像素单元及其对应的目标感光子单元所处的像素单元之间建立了通信连接，图6是本发明提供的芯片内像素单元之间通信连接示意图；，图6中方框代表像素单元，连线代表像素单元在当前时刻t_n的感光子单元输出值的传递。其中，左图以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。右图以第一像素单元和第二像素单元分别为(x-1,y+1)和(x+1,y+1)为例示意。

第二种：每一列像素单元设置一个时间差分与量化器和一个空间差分与量化器，以供该列像素单元共用。

图7为时间差分与量化器和空间差分与量化器均布置在像素外时的像素单元结构示意图，其以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。第二种采用列级读出方法，即每列共享一个时间差分与量化单元和一个空间差分与量化单元。

如图7所示，SD差分与量化器①依次计算

SD_x(x,y,t_n)＝Q_SD(I(x,y,t_n)-I(x+1,y,t_n))

SD_y(y,y,t_n)＝Q_SD(I(x,y,t_n)-I(x,y+1,t_n))

SD_x(x,y+1,t_n)＝Q_SD(I(x,y+1,t_n)-I(x+1,y+1,t_n))

SD_y(x,y+1,t_n)＝Q_SD(I(x,y+1,t_n)-I(x,y+2,t_n))

SD差分与量化器②依次计算

SD_x(x+1,y,t_n)＝Q_SD(I(x+1,t,t_n)-I(x+2,y,t_n))

SD_y(x+1,y,t_n)＝Q_SD(I(x+1,y,t_n)-I(x+1,y+1,t_n))

SD_x(x+1,y+1,t_n)＝Q_SD(I(x+1,y+1,t_n)-I(x+2,y+1,t_n))SD_y(x+1,y+1,t_n)＝Q_SD(I(x+1,y+1,t_n)-I(x+1,y+2,t_n))

SD差分与量化器③以此类推。

TD差分与量化器④依次计算

TD(x,y,t_n)＝Q_TD(I(x,y,t_n)-I(x,y,t_n-1))

TD(x,y+1,t_n)＝Q_TD(I(x,y+1,t_n)-I(x,y+1,t_n-1))

TD(x,u+2,t_n)＝Q_TD(I(x,y+2,t_n)-I(x,y+2,t_n-1))

TD差分与量化器⑤依次计算

TD(x+1,y,t_n)＝Q_TD(I(x+1,y,t_n)-I(x+1,y,t_n-1))

TD(x+1,y+1,t_n)＝Q_TD(I(x+1,y+1,t_n)-I(x+1,y+1,t_n-1))TD(x+1,y+2,t_n)＝Q_TD(I(x+1,y+2,t_n)-I(x+1,y+2,t_n-1))

TD差分与量化器⑥以此类推。

以第一像素单元和第二像素单元分别为(x-1,y+1)和(x+1,y+1)的示例原理相同，在此不再赘述。

第三种：每一个像素单元内设置一个时间差分与量化器，且每一列像素单元设置一个空间差分与量化器以供该列像素单元共用。

第四种：每一个像素单元内设置一个空间差分与量化器，且每一列像素单元设置一个时间差分与量化器以供该列像素单元共用。

第三种和第四种，由时间差分与量化器以及空间差分与量化器在像素内以及时间差分与量化器以及空间差分与量化器在像素外演变而来，在此不再赘述。

需要说明的是，上述4种方式像素单元(x,y)内部的感光子单元在t_n时刻和其上一时刻t_n-1的输出值I(x,y,t_n)和I(x,y,t_n-1)同时输入了空间差分与量化器，空间差分与量化器先通过内部选择器选出I(x,y,t_n)并遗弃I(x,y,t_n-1)，之后再进行空间差分与量化操作。

另外，时间差分与量化器和空间差分与量化器采用的量化方式为ADC(模拟数字转换器)量化；

其中，ADC量化可以为单比特ADC量化、带有符号位(符号位正负分别表示增强/减弱)的多比特ADC量化以及不带符号位的多比特ADC量化等。

本发明优选带有符号位(符号位正负分别表示增强/减弱)的多比特ADC量化。

带有符号位的多比特ADC量化，在将模拟信号量化为数字信号的过程中既可以衡量差分结果的大小，同时也可以给出差分结果的正负号，可以感知更加精确的光强变化情况，像素精度得以提升；此外因为用多比特来表示，信噪比有所提高。

在上述实施例的基础上，作为一种可选的实施例，所述像素阵列中每一个像素单元中设置一个触发脉冲发生器；

或者

其中，所述触发脉冲发生器用于以固定时间间隔产生触发信号，或者以自适应、可编程的可变间隔产生触发信号，以控制对应感光子单元的曝光时刻。

触发脉冲发生器用于产生触发信号，该信号控制感光子单元进行曝光，即确定了采集信号的时刻t_n。图8是触发脉冲信号示意图，该图中横轴x为时间，纵轴y为数字信号幅度。从图8中可看出，触发脉冲产生时刻等同于像素单元的采样时刻为t_n，t_n-1，t_n-2…，这些时刻不仅可以设置成左图中的固定时间间隔，还可以设置成右图中的自适应、可编程的可变间隔。该自适应间隔可以适应外部视觉信号的变化特性，在变化量大和变化频率高时，使用更高的采样频率，在低频信号时使用低采样频率，以降低数据量和能耗。

在上述实施例的基础上，作为一种可选的实施例，连接同一个触发脉冲发生器的像素单元同步曝光，连接不同触发脉冲发生器的像素单元同步曝光或异步曝光。

可想而知，如果一个像素单元内设计有触发脉冲发生器，则该触发脉冲发生器可以独立地根据其所在像素单元自身感受的光强水平，自适应地调节触发计算时空差分信号的时刻，每个像素的触发时刻不同。像素可以在任意时刻输出信息，灵活性提高，输出延时降低。

因此，本发明支持阵列内所有像素单元共用一个触发脉冲发生器，此时只能采用全阵列同步曝光。

还支持阵列内每一个像素单元使用一个触发脉冲发生器，可以根据需求设置曝光方式为同步曝光和异步曝光。

还支持，多个像素组成一个宏块，来共用一个像素内脉冲触发发生器，以降低芯片设计复杂度和占用的面积，这种情况下同一宏块内的像素单元同步曝光，宏块之间根据需求设置曝光方式为同步曝光和异步曝光。

在上述实施例的基础上，作为一种可选的实施例，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。

本发明时间差分与量化器包括时间差分计算器和量化器，空间差分与量化器包括空间差分计算器和量化器。每一个像素单元通过感光单元输出表示光强的电信号，该电信号进入存储节点后进行时间差分计算/空间差分计算以及量化之后输出。此处差分计算以及量化的执行顺序可以互换，即两个模拟信号量化为数字信号，再在数字域进行差分计算，也可以是先对模拟信号在模拟域进行差分计算，然后将差分结果量化为数字信号。

第二方面，因为仅通过DVS难以实现具有通用性的视觉感知，现有视觉传感器通常需要将DVS与高空间分辨率高图像质量的CIS结合使用。例如DAVIS相机和基于混合像素阵列的相机。其中，DAVIS相机将CIS与DVS结合，其内单个光电二极管(PD，用于将入射光转换为电流)的输出电流同时被APS电路和DVS电路利用，既能记录单帧图像(基于帧的采样)也能记录事件信息(基于事件的采样)。这使得DAVIS同时具有了CIS高图像质量和DVS相机高时间分辨率的优点。但是，DAVIS相机存在下述几点缺陷：

一：DAVIS相机继承了DVS单值信号精度有限的缺陷。

二：缺少空间差分信息

当画面中存在大范围闪光或者是光强剧烈变化的时候，所有TD像素均输出事件导致饱和，DVS通路无法输出有效信息，CIS通路又由于帧率限制，也无法即时响应。这样的极端情况在自动驾驶中非常常见且对于驾驶安全至关重要，例如进出隧道，夜间抓拍摄像头闪光等等。也即仅具有CIS与DVS二通路的视觉传感器，从视觉原语角度来看，对于信息的采集是不完整的。作为对比，人类的视觉系统，无论是在正午还是黄昏，无论是在开阔场景中还是被部分遮挡，都可以实现对运动目标的快速识别，实现了远超现有DAVIS的鲁棒性与通用性。这是由于人眼通过组合不同的视觉原语实现了高效且鲁棒的视觉表示。

故而，DVS只能输出视觉信号在时间上的变化信息且这一信息非常容易被干扰，并缺乏空间差分信息。

在此基础上，本发明提供一种视觉传感器芯片，所述芯片包括由像素单元构成的像素阵列；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

具体的，本发明实现了3通路输出的视觉传感器。3通路分别是：光强量化通路、时间差分通路TD与空间差分通路SD。

其中，光强量化通路输出当前像素单元(x,y)内部的感光单元在t_n时刻的输出值的量化结果A(x,y,t_n)，用下式表示：

A(x,y,t_n)＝Q(I(x,y,t_n))

其中，Q为强度通路所用的量化方法。

光强量化通路信号均为三维量，包含x，y的空间二维量和时间维度t。

TD通路与SD通路相关部分，与第一方面所述的视觉传感器芯片像素单元的TD通路与SD通路一致，在此不再赘述。

图9是相应地视觉传感器芯片的结构示意图，以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。

本发明提供的视觉传感器芯片，将仿人类视网膜的空间差分通路加入现有仅含有时间差分通路和彩色通路的视觉传感器像素单元中，从而能够大幅度提升视觉传感器对于时空动态信息的高精度重建能力，形成高效且鲁棒的视觉表示。

在上述各实施例的基础上，作为一种可选的实施例，所述强度通路包括所述感光子单元、部署于所述像素单元内部的第一单元和强度用量化器，或者包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元、部署于所述像素单元内部的分频选通器和强度用量化器；

所述分频选通器，用于对所述差分用存储子单元写入的所述感光子单元的当前时刻输出值进行低频采样；可以理解的是，分频选通器的设置使像素单元不需要为强度通路单独设置存储节点，而是直接获取差分用存储子单元的存储信息。分频选通子单元的作用是低频采样，假设差分通路阵列是600fps，那么因为乒乓存储的设定第一/二存储节点的数据更新频率就是300Hz，光强量化器是30fps，所以只要分频选通器降频十倍采样即可(相当于分频选通器每收到10次信号，只输出一次信号，其他9次就抛弃了)。

所述时间差分与量化器，用于计算并输出所述时间差分值；

换言之，当所述强度通路包括所述感光子单元、部署于所述像素单元内部的第一单元和强度用量化器时，根据时间差分与量化器、空间差分与量化器和强度用量化器是否布置在像素内，本发明给出了8种像素单元结构。

A：时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素内；

图10和图11是对应的时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素内时的像素单元结构示意图，其中，图10以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。图11以第一像素单元和第二像素单元分别为(x-1,y+1)和(x+1,y+1)为例示意。

B：强度用量化器布置在像素内，时间差分与量化器和空间差分与量化器布置在像素外；

图12为时间差分与量化器和空间差分与量化器布置在像素外且强度用量化器布置在像素内时的像素单元结构示意图，其以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。以第一像素单元和第二像素单元分别为(x+1,y+1)和(x-1,y+1)为例时的原理相同，在此不再赘述。

C:时间差分与量化器布置在像素内，空间差分与量化器和强度用量化器布置在像素外；

D：空间差分与量化器布置在像素内，时间差分与量化器和强度用量化器布置在像素外；

E：时间差分与量化器和空间差分与量化器布置在像素内，强度用量化器布置在像素外；

F：时间差分与量化器和强度用量化器布置在像素内，空间差分与量化器布置在像素外；

G：空间差分与量化器和强度用量化器布置在像素内，时间差分与量化器布置在像素外；

H：时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素外。

C～H对应的像素单元结构与之移去同工，在此不在赘述。

当所述强度通路包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元、部署于所述像素单元内部的分频选通器和强度用量化器时，根据时间差分与量化器、空间差分与量化器和强度用量化器是否布置在像素内，本发明也给出了8种像素单元结构。

I：时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素内；

图13和图14是对应的时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素内时的像素单元结构示意图，其中，图13以第一像素单元和第二像素单元分别为(x+1,y)和(x,y+1)为例示意。图14以第一像素单元和第二像素单元分别为(x-1,y+1)和(x+1,y+1)为例示意。

II：时间差分与量化器和空间差分与量化器布置在像素内，强度用量化器布置在像素外；

III：时间差分与量化器和强度用量化器布置在像素内，空间差分与量化器布置在像素外；

IV：空间差分与量化器和强度用量化器布置在像素内，时间差分与量化器布置在像素外；

V:时间差分与量化器布置在像素内，空间差分与量化器和强度用量化器布置在像素外；

VI：空间差分与量化器布置在像素内，时间差分与量化器和强度用量化器布置在像素外；

VII：强度用量化器布置在像素内，时间差分与量化器和空间差分与量化器布置在像素外；

VIII：时间差分与量化器、空间差分与量化器和强度用量化器全部布置在像素外。

II～VIII与之异曲同工，在此不再赘述。

需要说明的是，上述8种方式像素单元(x,y)内部的感光子单元在t_n时刻和其上一时刻t_n-1的输出值I(x,y,t_n)和I(x,y,t_n-1)同时输入了分频选通器，分频选通器先通过内部选择器选出I(x,y,t_n)并遗弃I(x,y,t_n-1)，之后再进行空间差分与量化操作。

注意，与时间差分与量化器和空间差分与量化器一样，本发明强度用量化器采用的量化方式为ADC量化；优选为带有符号位(符号位正负分别表示增强/减弱)的多比特ADC量化。

在上述各实施例的基础上，作为一种可选的实施例，所述强度通路输出为灰度值或彩色值；

CIS通过像素阵列上覆盖的彩色滤光片阵列(CFA)，CIS感知不同波长的可见光从而得到彩色图像。CFA通常含有红绿蓝三种颜色的滤光片，所以彩色通路有时被简称为“RGB”，三种颜色的滤光片通常采用Bayer阵列形式的排布。但是也有其他类型的CFA，例如基于三补色(青色，品红，黄色)的CMY阵列，其具有更高的透过率。本发明可以不加彩色滤光片阵列，此时光强量化通路输出灰度值，也可以加入彩色滤光片阵列(例如RGB彩色滤光片)，此时输出彩色值。

若强度通路的输出为彩色值，对应像素覆盖有彩色滤光片。此时时空差分通路中感光子单元的输出值只包含某一颜色通道的信息。典型的，如红，绿，蓝三种通道，此时阵列中的像素就分为红，绿，蓝三种颜色的信息。

因此，在进行时间差分/空间差分时先对所有颜色进去马赛克处理，也就是对于X颜色的像素，先基于其周围的Y颜色像素得到该位置的Y颜色输出，基于其周围的Z颜色像素得到该位置的Z颜色输出，这样每一个像素都有三个通路的颜色输出了，就可以进行常规的空间差分操作。

本发明在所述时间差分与量化器/所述空间差分与量化器中均嵌入了一个外部可编程的去马赛克器，并利用内部的去马赛克算法实现去马赛克操作。

其中，马赛克算法不唯一，可以选取周围的两个点，四个点，甚至是16个点来实现。

当然，在差分与量化单元按列分布时候，去马赛克器也可以独立设置在像素内部。

也可以不引入去马赛克器，直接对当前像素对应的颜色通道进行空间差分操作。可以是相同的颜色通道进行差分(比如X颜色的像素对X颜色的像素)，也可以是不同颜色通道进行差分(比如X颜色的像素对Y颜色的像素)，后续再进行额外的算法后处理。

在上述各实施例的基础上，作为一种可选的实施例，所述像素阵列中每一个像素单元中设置一个触发脉冲发生器；

或者

在上述各实施例的基础上，作为一种可选的实施例，连接同一个触发脉冲发生器的像素单元同步曝光，连接不同触发脉冲发生器的像素单元同步曝光或异步曝光。

在上述各实施例的基础上，作为一种可选的实施例，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。

上述过程与第一方面所述的视觉传感器芯片一样，在此不再赘述。

本发明第一方面或第二方面的视觉传感芯片连接一个图像处理模块，该图像处理模块与像素阵列集成在同一芯片内，也可以布置于电脑或其他设备上外，它用于处理芯片输出信号。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种视觉传感器芯片，其特征在于，所述芯片包括由像素单元构成的像素阵列；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

2.根据权利要求1所述的视觉传感器芯片，其特征在于，所述时间差分通路包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元和时间差分与量化器；

所述时间差分与量化器，用于计算并输出所述时间差分值；

3.根据权利要求1所述的视觉传感器芯片，其特征在于，所述像素阵列中每一个像素单元中设置一个触发脉冲发生器；

或者

所述像素阵列中所有像素单元共同连接一个触发脉冲发生器；或者

4.根据权利要求1所述的视觉传感器芯片，其特征在于，连接同一个触发脉冲发生器的像素单元同步曝光，连接不同触发脉冲发生器的像素单元同步曝光或异步曝光。

5.根据权利要求1所述的视觉传感器芯片，其特征在于，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。

6.一种视觉传感器芯片，其特征在于，所述芯片包括由像素单元构成的像素阵列；

所述时间差分通路，用于输出所述像素单元的时间差分值；

所述空间差分通路，用于输出所述像素单元的空间差分值；

7.根据权利要求6所述的视觉传感器芯片，其特征在于，所述强度通路包括所述感光子单元、部署于所述像素单元内部的第一单元和强度用量化器，或者包括所述感光子单元、部署于所述像素单元内部的差分用存储子单元、部署于所述像素单元内部的分频选通器和强度用量化器；

所述时间差分与量化器，用于计算并输出所述时间差分值；

8.根据权利要求6或7任一项所述的视觉传感器芯片，其特征在于，所述强度通路输出为灰度值或彩色值；

9.根据权利要求6所述的视觉传感器芯片，其特征在于，所述像素阵列中每一个像素单元中设置一个触发脉冲发生器；

或者

10.根据权利要求9所述的视觉传感器芯片，其特征在于，连接同一个触发脉冲发生器的像素单元同步曝光，连接不同触发脉冲发生器的像素单元同步曝光或异步曝光。

11.根据权利要求9所述的视觉传感器芯片，其特征在于，所述像素阵列中每一个像素单元的曝光方式为全局曝光或者滚动曝光。