CN217522898U - 一种图像传感器 - Google Patents

Abstract

本申请公开一种图像传感器，图像传感器包括多个像素，像素包括感光单元，用于获取感光信号；图像传感电路和事件传感电路，分别用于输出灰度图像信号和检测信号；逻辑驱动电路包括连接图像传感电路的晶体管TX1和连接事件传感电路的晶体管TX2，晶体管TX1和TX2根据来自边缘条件处理器的控制信号，驱动所述感光信号传输至图像传感电路或事件传感电路；模拟数字转换器，用于转换灰度图像信号为第一图像数据；地址事件表示电路，用于根据检测信号输出事件数据；图像处理器，用于接收并处理所述第一图像数据，输出第二图像数据；边缘条件处理器，用于根据第二图像数据进行目标识别或根据事件数据进行计数检测，向所述逻辑驱动电路输出控制信号。

Description

一种图像传感器

技术领域

本申请涉及传感器技术，尤其涉及一种图像传感器。

背景技术

图像传感器作为相机和监控设备的核心部件，对获取被摄场景的图像品质有着决定性的影响。传统的图像传感器以固定帧率输出图像绝对光强信息，可以重构图像的细节纹理信息，但数据量大、功耗大，在高速、亮度极高或光线极差时不能很好地获取图像信息。

动态视觉传感器模拟生物视网膜处理信息的机制，与基于帧的传统相机的工作机制和输出方式不同，动态视觉传感器的像素可以单独检测光照强度对数的变化，并在变化量超过一定阈值时输出包含位置、时间、极性的事件信息，拥有低延迟、高动态范围、低功耗的优点，其独特的输出方式和工作特性使其特别适应于有高速运动、光照条件变化较大或小能耗的场合。然而单纯的动态视觉传感器输出的事件，只提供了事件的像素地址、时间和极性，这些信息无法满足对可视化的需求，给后期数据处理带来了很大的困扰，且应用领域也存在一定的局限性。

发明内容

有鉴于此，本申请提供了一种图像传感器。

为了解决上述技术问题，本申请采用了如下技术方案：

一种图像传感器，其特征在于，所述图像传感器包括：

像素阵列，所述像素阵列包括在行方向和列方向上阵列排布的多个像素，所述像素包括感光单元、逻辑驱动电路、图像传感电路和事件传感电路，所述感光单元用于获取感光信号，所述图像传感电路用于接收所述感光信号并进行处理，输出灰度图像信号，所述事件传感电路用于根据感光信号输出检测信号；

所述逻辑驱动电路包括连接图像传感电路的晶体管TX1和连接事件传感电路的晶体管TX2，晶体管TX1和TX2根据来自边缘条件处理器的控制信号，驱动所述感光信号传输至所述图像传感电路或所述事件传感电路；

模拟数字转换器，用于接收并转换所述灰度图像信号，输出第一图像数据；

地址事件表示电路，用于接收所述检测信号，生成时间戳和像素地址，根据所述检测信号、时间戳和像素地址输出事件数据；

图像处理器，用于接收并处理所述第一图像数据，输出第二图像数据；

边缘条件处理器，用于接收所述第二图像数据或所述事件数据，根据所述第二图像数据进行目标识别或根据所述事件数据进行计数检测，向所述逻辑驱动电路输出控制信号，以确定所述感光信号传输至所述图像传感电路或所述事件传感电路。

可选地，所述感光单元为光电二极管。

可选地，所述事件传感电路包括：

放大电路，用于对所述感光信号进行放大；

事件检测电路，用于对放大后的信号进行检测，确定像元是否检测到事件，输出检测信号；

保持电路，用于接收并保持所述检测信号。

可选地，所述地址事件表示电路包括：

行地址事件表示电路，包括时间戳生成器，所述行地址事件表示电路接收所述检测信号，基于所述检测信号生成像素行地址和时间戳，将所述检测信号、像素行地址和时间戳输出至输出缓冲器；

列地址事件表示电路，用于输出像素列地址；

输出缓冲器，用于接收所述检测信号、行地址、列地址和时间戳，输出事件数据。

相较于现有技术，本申请具有以下有益效果：逻辑驱动电路包括连接图像传感电路的晶体管TX1和连接事件传感电路的晶体管TX2，晶体管TX1和TX2根据来自边缘条件处理器的控制信号，驱动所述感光信号传输至所述图像传感电路或所述事件传感电路，边缘条件处理器根据第二图像数据进行目标识别或根据所述事件数据进行计数检测，并根据识别结果或计数检测结果控制晶体管TX1和TX2的截止或导通。因此图像传感器可以实现仅输出图像、仅输出事件和既输出事件也输出图像，三种工作方式。仅输出事件时，异步工作特性使图像传感器功耗大幅降低；仅输出图像时，可根据图像进行目标识别，识别到特定目标再开启输出事件，可实现对高速运动的特定对象的进行低延迟捕获。对于图像传感器中的一个像素，事件传感电路和图像传感电路共用同一个感光单元，节省芯片面积，电路结构简单。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种图像传感器像素结构示意图。

图2是本申请实施例提供的一种图像传感器结构示意图。

图3是本申请实施例提供的一种逻辑驱动电路结构示意图。

图4是本申请实施例提供的一种图像传感电路中的放大电路结构示意图。

图5是本申请实施例提供的一种事件传感电路结构示意图。

图6是本申请实施例提供的一种AER电路结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

应当说明的是，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

图1为本申请实施例提供的一种图像传感器像素结构示意图。

参考图1，图像传感器包括像素阵列10，像素阵列10包括在行方向和列方向上排列的多个像素11。每个像素11包括感光单元12、逻辑驱动电路13、图像传感电路14和事件传感电路15。

感光单元12用于获取与入射光接收量成正相关的电信号作为感光信号。

逻辑驱动电路13用于驱动感光信号传输至图像传感电路14或事件传感电路15。

图像传感电路14用于接收感光信号，对感光信号进行处理，输出图像灰度信号。

事件传感电路15用于接收感光信号，对感光信号进行检测，确定像素是否检测到事件，输出检测信号。

图2为本申请实施例提供的一种图像传感器结构示意图。

参考图2，图像传感电路14包括放大电路141、积分电路142和采样保持电路143。

放大电路141用于对感光信号进行放大；积分电路142，用于控制感光单元12积分和电荷转移等功能；采样保持电路143，用于将积分信号采样并保持，同时还可包含双采样功能，输出模拟的图像灰度信号。

事件传感电路15包括放大电路151、事件检测电路152和保持电路153。

放大电路151用于对感光信号进行放大；事件检测电路152用于对放大后的信号进行检测，并确定是否检测到事件，若检测到事件，输出检测信号；保持电路153用于接收事件检测电路152输出的检测信号，并保持该信号。

图像传感器还包括模拟数字转换器（ADC）41，ADC 41用于接收采样保持电路143输出的模拟的图像灰度信号，并进行转换，输出数字格式的第一图像数据。

图像传感器还包括地址事件表示电路（AER）21，AER 21用于接收检测信号，生成时间戳和像素地址，根据检测信号、时间戳和像素地址生成事件数据。

图像传感器还包括边缘条件处理器31，边缘条件处理器31用于根据接收到的对应像素阵列中多个像素的事件数据，向逻辑驱动电路输出控制信号。

图3为本申请实施例提供的一种逻辑驱动电路结构示意图。

参考图3，本申请实施例中，感光单元12可以是光电二极管。

逻辑驱动电路13包括晶体管TX1和TX2，晶体管TX1的源极和漏极之一连接感光单元12，另一极连接图像传感电路14，晶体管TX2的源极和漏极之一连接感光单元12，另一极连接事件传感电路15，晶体管TX1和TX2的栅极均连接边缘条件处理器31，晶体管TX1和TX2用于接收来自边缘条件处理器31的控制信号，控制信号作用于TX1和TX2的栅极可以控制晶体管TX1和TX2导通或截止，驱动感光信号传输至所述图像传感电路或所述事件传感电路，因此，控制信号可以控制感光单元12连接至图像传感电路14或事件传感电路15。其中，控制晶体管TX1导通或截止的信号称为TX1控制信号，控制晶体管TX2导通或截止的信号称为TX2控制信号

图4为本申请实施例提供的一种图像传感电路中的放大电路结构示意图。

参考图4，入射光产生的光电荷被收集在光电二极管上，光电二极管通过被施加电压源VDD而设置为反向偏置，M1晶体管为复位晶体管，当M1的栅极施加一定电压，M1晶体管被导通，将光电二极管偏置到VDD，完成复位操作。当行选晶体管M3的栅极被施加一定电压使得M3被导通，光电二极管中收集的光电荷对应的电压被读取至行总线CB。晶体管M2为源极跟随器，用于将电压放大。

图像传感电路14中的积分电路142、采样保持电路143，以及图像传感器中的ADC41的结构可参考现有技术，在此不详细介绍。

图5为本申请实施例提供的一种事件传感电路结构示意图。

参考图5，事件传感电路15包括放大电路151，事件检测电路152和保持电路153。

放大电路151包括反馈晶体管M4、对数放大器LA、电容C1和C2、差分放大器DA和复位开关SW。

对数放大器LA用于输出对数标度的对数电压Vlog，差分放大器DA可将对数电压Vlog进行放大生成电压Vdiff。电容C1和C2可以储存光电二极管生成的电荷，C1和C2的电容值可以根据一个像素处连续发生两个事件之间的最短时间而适当地设置。开关SW可以响应与复位信号RST进行操作，当通过复位信号RST闭合开关SW时，可以将像素复位，复位信号RST可以由AER 21产生。

事件检测电路152用于对差分放大器DA的输出电压Vdiff的电平和参考电压Vref的电平进行比较，从而确定该像素是否检测到事件，若检测到事件，确定出事件是开启事件还是截止事件。当检测到光的强度增加的事件时，事件检测电路152输出指示检测到的事件是开启事件的检测信号ON，当检测到光的强度减小的事件时，事件检测电路152输出指示检测到的事件是截止事件的检测信号OFF。

保持电路153用于接收并保持检测信号ON或检测信号OFF，检测信号ON或检测信号OFF可以被称为极性信息Pol，极性信息Pol可以被传输至AER 21。

事件传感电路15可以对光电二极管生成的电荷进行对数处理得到对数电压Vlog，将对数电压Vlog放大生成电压Vdiff，将经过放大得到的电压Vdiff与参考电压Vref进行比较，以确定入射在光电二极管上的光是否为光强度增大或减小的光，并输出与确定结果对应的检测信号，即检测信号ON或检测信号OFF，当入射光强度增大一定程度，检测到开启事件，则输出检测信号ON，当入射光强度减小一定程度，检测到截止事件，则输出检测信号OFF。在输出检测信号ON或检测信号OFF之后，可以通过复位信号RST复位光电二极管。

图6为本申请实施例提供的一种AER电路结构示意图。

参考图6，AER 21包括行AER 211、列AER 212和输出缓冲器213,。

像素阵列中的一个或多个像素11中检测到事件的像素可以向列AER 212输出表示检测到光强度增加或减小的列请求信号CR，列AER 212响应于从检测到事件的像素接收的列请求信号CR，向像素输出确认信号ACK。接收到确认信号ACK的像素可以将事件的极性信息Pol输出到行AER 211。列AER 212可以基于从检测到事件的像素接收到的列请求信号CR生成检测到事件的像素的列地址C_ADDR。

行AER 212可以从检测到事件的DVS像素接收极性信息Pol。行AER 212包括时间戳生成器，行AER 212可以基于极性信息Pol生成包括关于事件发生的时间的信息的时间戳。时间戳生成器可以通过用几微秒至几十微秒为生成的时间段来输出时间戳。行AER 212可以生成检测到事件的像素的行地址R_ADDR。行AER 212可以根据接收到的极性信息Pol将复位信号RST输出至检测到事件的像素，检测到事件的像素可以由复位信号RST复位。

输出缓冲器213可以接收时间戳、极性信息Pol、列地址C_ADDR和行地址R_ADDR，并根据时间戳、极性信息Pol、列地址C_ADDR和行地址R_ADDR生成事件数据，事件数据可以被输出至边缘条件处理器31。

参考图2，当对图像传感器供电或图像传感器启动时，边缘条件处理器31可将处于默认电平的控制信号作用于逻辑驱动电路13中晶体管TX1和TX2的栅极，其中，控制晶体管TX1导通或截止的信号称为TX1控制信号，控制晶体管TX2导通或截止的信号称为TX2控制信号。

在一些实施例中，当对图像传感器供电或图像传感器启动时，可默认通过TX1控制信号设置晶体管TX1截止，通过TX2控制信号设置晶体管TX2导通，晶体管TX1截止使得图像传感电路14不工作，晶体管TX2截止使得事件传感电路15工作，也就是说，在此情况下图像传感器仅工作在检测事件的工作模式下，事件数据可以被AER 21输出至边缘条件处理器31。

边缘条件处理器31可以接收事件数据，可以将特定时间段期间内像素阵列中一个或多个像素发生的事件数据数量与参考值进行比较，当事件数据数量小于参考值时，边缘条件处理器31通过TX1控制信号设置晶体管TX1截止，使得图像传感电路14不工作；当事件数据数量大于参考值时，边缘条件处理器31通过TX1控制信号设置晶体管TX1导通，使得图像传感电路14开始工作。

当事件数据数量小于参考值时，可认为处于事件发生由噪声主导的情况，而不是实际需要关注的事件，因此无需导通图像传感电路14。参考值可根据图像传感器噪声水平合理设置。

当事件数据数量大于参考值时，可认为发生了需要关注的事件，该情况下导通图像传感电路14，使图像传感器可以输出第一图像数据，此时图像传感电路14和事件传感电路15均为工作状态，图像传感器可以输出第一图像数据和事件数据至图像处理器（ISP），ISP 51可以对第一图像数据和事件数据进行融合处理，之后传输至显示单元（图中未示出）显示，方便监控人员查看图像和事件融合的画面。

在一特定时刻无论晶体管TX1是否导通，在下一个特定时间段内，若边缘条件处理器31接收到的事件数据数量小于参考值，则通过TX1控制信号设置晶体管TX1截止，使得图像传感电路14停止或不开始工作；若边缘条件处理器31接收到的事件数据数量大于参考值，则通过TX1控制信号设置晶体管TX1导通，使得图像传感电路14继续或开始工作。也就是说，每隔特定时间段，边缘条件处理器31通过比较接收到的事件数据数量和参考值，更新TX1控制信号。

当对图像传感器供电或图像传感器启动时，默认图像传感器仅检测事件，而不检测图像，没有发生需要关注的事件时，图像传感电路14不工作，如此可大幅降低图像传感器功耗。当发生需要关注的事件时，可快速导通图像传感电路14，在输出事件的同时输出图像，方便人员查看发生的事件和捕捉到的画面，由于像素阵列中每个像素均有独立的事件传感电路14与像素连接，事件传感具有异步工作特性，事件数据的输出延迟可低至几微秒，在满足一定边缘条件后可快速导通图像传感电路14，因此图像传感器具有低功耗和低延迟的优点。

参考图2，在一些实施例中，当对图像传感器供电或图像传感器启动时，可默认通过TX1控制信号设置晶体管TX1导通，通过TX2控制信号设置晶体管TX2截止，晶体管TX1导通使得图像传感电路14工作，晶体管TX2截止使得事件传感电路15不工作，也就是说，在此情况下图像传感器仅工作在采集图像的工作模式下，第一图像数据可以被ADC 41输出至ISP51。

ISP 51可以接收第一图像数据，并且处理第一图像数据以生成处理后的第二图像数据。例如，ISP 51可以以帧为单位处理或构造第一图像数据。此外，ISP 51可修正第一图像数据的明暗度、对比度、色度等。

边缘条件处理器31可以接收第二图像数据，可在特定时间段内比较处理后的第二图像数据与参考数据，具体地，可以根据第二图像数据进行目标识别，将识别结果与参考数据对比，并且基于比较结果设置晶体管TX2导通或截止。当处理后的第二图像数据与参考数据一致时，边缘条件处理器31可以通过TX2控制信号设置晶体管TX2导通，使事件传感电路15工作；当处理后的第二图像数据与参考数据不一致时，边缘条件处理器31可以通过TX2控制信号设置晶体管TX2截止，使事件传感电路15不工作。

参考数据可以是例如人体或动物等特定对象的二维图像，或包括距离信息的三维图像。参考数据是可编程的，参考数据可以被存储在边缘条件处理器31中。

当第二图像数据与参考数据一致时，可认为通过图像识别到了需要关注的对象，该情况下导通事件传感电路15，使事件传感器可以输出事件数据，此时图像传感电路14和事件传感电路15均为工作状态，图像传感器可以输出图像数据和事件数据至ISP 51，ISP51可以对图像数据和事件数据进行融合处理，之后传输至显示单元（图中未示出）显示，方便监控人员查看图像和事件融合的画面。

在一特定时刻无论晶体管TX2是否导通，在下一个特定时间段内，若第二图像数据与参考数据不一致时，则通过TX2控制信号设置晶体管TX2截止，使得事件传感电路15停止或不开始工作；若第二图像数据与参考数据一致时，则通过TX2控制信号设置晶体管TX2导通，使得事件传感电路15继续或开始工作。也就是说，每隔特定时间段，边缘条件处理器31通过比较第二图像数据和参考数据，更新TX2控制信号。

当对图像传感器供电或图像传感器启动时，默认图像传感器仅传感图像，而不检测事件，根据图像做适当图像处理，没有识别到需要关注的特定对象时，事件传感电路15，当识别到需要关注的特定对象时，导通事件传感电路15，在输出图像的同时检测和输出事件，利用异步事件传感的低延迟特性，可实现对高速运动的特定对象的进行低延迟捕获，弥补了图像传感电路14对捕获高速运动对象的延迟高的缺点。

根据本申请构思的一些示例实施例的图像处理设备10可以安装在或包括在具有图像感测功能和/或光感测功能的电子设备中。例如，本申请实施例提供的图像传感器可以安装在例如相机、智能电话、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机和高级驾驶员辅助系统(ADAS)等的电子设备中。另外，本申请实施例提供的图像传感器可以提供作为交通工具、家具、制造设备、门、各种测量设备等中的元件。

以上所述仅是本申请的优选实施方式，虽然本申请已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (4)

1.一种图像传感器，其特征在于，所述图像传感器包括：

像素阵列，所述像素阵列包括在行方向和列方向上阵列排布的多个像素，所述像素包括感光单元、逻辑驱动电路、图像传感电路和事件传感电路，所述感光单元用于获取感光信号，所述图像传感电路用于接收所述感光信号并进行处理，输出灰度图像信号，所述事件传感电路用于根据感光信号输出检测信号；

所述逻辑驱动电路包括连接图像传感电路的晶体管TX1和连接事件传感电路的晶体管TX2，晶体管TX1和TX2根据来自边缘条件处理器的控制信号，驱动所述感光信号传输至所述图像传感电路或所述事件传感电路；

模拟数字转换器，用于接收并转换所述灰度图像信号，输出第一图像数据；

地址事件表示电路，用于接收所述检测信号，生成时间戳和像素地址，根据所述检测信号、时间戳和像素地址输出事件数据；

图像处理器，用于接收并处理所述第一图像数据，输出第二图像数据；

边缘条件处理器，用于接收所述第二图像数据或所述事件数据，根据所述第二图像数据进行目标识别或根据所述事件数据进行计数检测，向所述逻辑驱动电路输出控制信号，以确定所述感光信号传输至所述图像传感电路或所述事件传感电路。

2.根据权利要求1所述的图像传感器，其特征在于，所述感光单元为光电二极管。

3.根据权利要求1所述的图像传感器，其特征在于，所述事件传感电路包括：

放大电路，用于对所述感光信号进行放大；

事件检测电路，用于对放大后的信号进行检测，确定像元是否检测到事件，输出检测信号；

保持电路，用于接收并保持所述检测信号。

4.根据权利要求1所述的图像传感器，其特征在于，所述地址事件表示电路包括：

行地址事件表示电路，包括时间戳生成器，所述行地址事件表示电路接收所述检测信号，基于所述检测信号生成像素行地址和时间戳，将所述检测信号、像素行地址和时间戳输出至输出缓冲器；

列地址事件表示电路，用于输出像素列地址；

输出缓冲器，用于接收所述检测信号、行地址、列地址和时间戳，输出事件数据。

Images