CN117956307A

CN117956307A - 图像传感器、图像传感方法、电子设备

Info

Publication number: CN117956307A
Application number: CN202211705564.6A
Authority: CN
Inventors: 李杨; 潘撼; 邓志鹏; 胡慧
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2022-10-31
Filing date: 2022-12-29
Publication date: 2024-04-30

Abstract

本申请实施例提供一种图像传感器、图像传感方法、电子设备，涉及图像处理技术领域，用于提供一种能同时实现逐帧成像和输出图像帧内运动物体的图像传感器。图像传感器包括：光敏单元被配置为生成曝光信号。相关双采样器被配置为接收曝光信号，根据曝光信号向模数转换器输出图像帧的图像信号，向比较器输出图像帧的动态视觉信号。模数转换器被配置为将接收到的图像信号转换为数字信号后输出。比较器被配置为将动态视觉信号与阈值进行比较，并根据比较结果输出事件。

Description

图像传感器、图像传感方法、电子设备

本申请要求于2022年10月31日提交国家知识产权局、申请号为202211349608.6、发明名称为“DM、EP、通信系统及其控制方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像传感器、图像传感方法、电子设备。

背景技术

图像传感器拍摄的场景中，有处于静止状态的物体，也有处于运动状态的物体。在某些应用中，静止物体和运动物体同时成像，有助于对场景的分析和理解。在某些应用中，只需要捕捉运动物体。

例如，视场中的大部分环境都处于静止状态，只有一个或若干个运动物体在移动。如果使用常规的图像传感器，每个光敏单元逐帧成像，会产生很多重复、冗余的信息，增加无意义的存储、计算和功耗。而且，在这些应用中，运动物体才是更值得关注的信息，静止的背景信息相对次要。

因此，既能逐帧成像(包含静止物体和运动物体)，又能输出图像帧内运动物体的图像传感器，成为本领域技术人员研究的方向。

发明内容

本申请实施例提供一种图像传感器、图像传感方法、电子设备，用于提供一种能同时实现逐帧成像和输出图像帧内运动物体的图像传感器。

为达到上述目的，本申请采用如下技术方案：

本申请实施例的第一方面，提供一种图像传感器，包括：光敏单元和列线电路。光敏单元被配置为生成曝光信号。列线电路，包括相关双采样器、模数转换器以及比较器。相关双采样器被配置为接收曝光信号，根据曝光信号，向模数转换器输出图像帧的图像信号，向比较器输出图像帧的动态视觉信号。模数转换器被配置为将接收到的图像信号转换为数字信号后输出。比较器和模数转换器并列耦接于相关双采样器，比较器被配置为将动态视觉信号与阈值进行比较。其中，比较结果例如可以包括亮度从亮变暗、从暗变亮、亮度不变。

本申请实施例提供的图像处理器，通过在列线电路中设置比较器，比较器将相关双采样器生成的动态视觉信号与设定好的阈值进行比较，即可判断出曝光信号的亮度变化信号。相关双采样器可以输出图像信号和动态视觉信号，而非只能择一输出，能够同时实现逐帧成像和输出图像帧内运物体。若光敏单元将一图像帧中完整的曝光时段划分为多个子曝光时段，将多个子曝光时段产生的光生电子依次输出至列线电路进行处理，得到不同子曝光时段对应的亮度信息，则可实现一图像帧中完整曝光时段内亮度变化的判断。而且，输出的动态视觉信号是一图像帧内的多个子曝光时段之间的动态变化，相当于帧内插帧，而非前/后两帧的动态变化。通过在列线电路中增加与模数转换器并列的比较器，模数转换器可以用来输出该图像帧的图像，比较器可以直接用来输出该多个子曝光时段的动态变化(事件)。事件的判断无需对模数转换器输出的图像进行量化，从而减少存储空间和功耗。再者，本申请中的图像传感器是在传统CIS的基础上做出的改进，可以复用成熟的CIS工艺制程和图像算法，技术难度低，产品开发周期短。

在一种可能的实现方式中，相关双采样器包括第一电容、第二电容、第三电容、第一运算放大器、第一开关、第二开关以及第三开关；第一电容的第一端耦接于光敏单元的输出端，第一电容的第二端耦接于第二电容的第一端和第一运算放大器的第一输入端；第二电容的第二端耦接于第一运算放大器的输出端；第一运算放大器的输出端耦接于相关双采样器的输出端；第一开关与第二电容并联；第二开关的固定端耦接于第一运算放大器的第二输入端，第二开关的两个选择端分别与复位电压端和第一节点耦接；第三开关串联耦接于第一节点和相关双采样器的输出端之间；第三电容的第一端耦接于第一节点，第三电容的第二端耦接于参考地电压端。这是一种结构简单的相关双采样器。

在一种可能的实现方式中，第二电容为可变电容。这样一来，相关双采样器还可以具有放大的功能，满足多种需求。

在一种可能的实现方式中，相关双采样器还包括缓冲器；缓冲器的第一输入端耦接于缓冲器的输出端，缓冲器的第二输入端耦接于第一运算放大器的输出端，缓冲器的输出端耦接于相关双采样器的输出端。通过在相关双采样器中设置缓冲器，可以提升相关双采样器的驱动能力，使图像传感器更快更稳定。

在一种可能的实现方式中，阈值包括上阈值和下阈值；在动态视觉信号大于上阈值的情况下，事件表示图像帧内入射光由暗变亮；在动态视觉信号小于下阈值的情况下，事件表示图像帧内入射光由亮变暗；在动态视觉信号位于上阈值和下阈值之间的情况下，事件表示图像帧内入射光亮度不变。通过设置上阈值和下阈值，使得事件的判断有缓冲区间，可以减少电路噪声和入射光的散粒噪声对判断结果的影响。改善在临界点附近，由于信号中含有的噪声波动，导致事件判断结果出现不稳定的跳变。

在一种可能的实现方式中，列线电路还包括阈值器，阈值器包括第二运算放大器、第一电阻、第二电阻以及第三电阻；第二运算放大器的第一输入端耦接于第一电阻的第一端，第二运算放大器的第二输入端耦接于复位电压端，第二运算放大器的输出端耦接于上阈值输出端；第一电阻的第二端耦接于第三电阻的第一端和下阈值输出端；第三电阻的第二端耦接于参考地电压端；第二电阻耦接于第二运算放大器的第一输入端和第二运算放大器的输出端之间。这是一种结构简单的实现方式。

在一种可能的实现方式中，曝光信号包括与第一曝光时段内的入射光对应的第一曝光信号，和，生成与第二曝光时段内的入射光对应的第二曝光信号；第一曝光时段和第二曝光时段为光敏单元在同一图像帧曝光时段内的两个不同时段。通过将光敏单元在一图像帧中完整的曝光时段划分为多个子曝光时段，将多个子曝光时段产生的光生电子依次输出至列线电路进行处理，得到不同子曝光时段对应的亮度信息，实现一图像帧中完整曝光时段内亮度变化的判断。而且，输出的动态视觉信号是一图像帧内的多个子曝光时段之间的动态变化，相当于帧内插帧，而非前/后两帧的动态变化。

在一种可能的实现方式中，第二曝光时段等于第一曝光时段加第三曝光时段，第一曝光时段和第三曝光时段为图像帧内相邻的两个时段。由于随着曝光时段的持续，光敏单元中的光生电子增多，所以后一次输出是在前一次输出的电压的基础上进一步减小。与最初的复位电压相比，第二次输出的电压相当于是从曝光开始到第二次输出期间的光生电子。因此，将第二曝光时段选择为是在第一曝光时段基础上的时段累加，可直接与第二次输出的电压相匹配，简化处理过程。

在一种可能的实现方式中，光敏单元还被配置为生成复位电压；相关双采样器还被配置为接收复位电压。

在一种可能的实现方式中，动态视觉信号表征第三曝光时段内入射光的强度与第一曝光时段内入射光的强度之差。通过对比第三曝光时段内入射光的强度与第一曝光时段内入射光的强度，可以获取图像帧内两个时段的光强变化。

在一种可能的实现方式中，动态视觉信号包括(第一曝光信号-第二曝光信号)-(复位电压-第一曝光信号)。这是一种易于实现的处理方式。

在一种可能的实现方式中，图像信号表征第三曝光时段内入射光的累积强度。相关双采样器对第一曝光信号与第二曝光信号进行相关双采样，以获取第三曝光时段内入射光的累积强度，可以消除信号噪声(kT/C)。

在一种可能的实现方式中，图像信号包括第一曝光信号与第二曝光信号之差。这是一种易于实现的处理方式。

在一种可能的实现方式中，图像信号表征第二曝光时段内入射光的累积强度。第二曝光时段持续的时间较长，产生的光生电子数多。因此，将第二曝光信号作为图像信号，图像信号的信噪比较大，闪烁噪声较小，图像质量较好。

在一种可能的实现方式中，图像信号包括复位电压与第二曝光信号之差。这是一种易于实现的处理方式。

本申请实施例的第二方面，提供一种图像传感方法，图像传感方法包括：生成曝光信号根据曝光信号，生成图像帧的图像信号和图像帧的动态视觉信号；将图像信号转换为数字信号并输出；将动态变化信号与阈值进行比较。本申请实施例提供的图像传感方法的有益效果与图像传感器的有益效果相同，此处不再赘述。

在一种可能的实现方式中，生成曝光信号包括：接收第一曝光时段的入射光和第二曝光时段的入射光，生成与第一曝光时段内的入射光对应的第一曝光信号，和，生成与第一曝光时段加第二曝光时段内的入射光对应的第二曝光信号；第一曝光时段和第二曝光时段为同一图像帧曝光时段内的两个不同时段。

在一种可能的实现方式中，第二曝光时段等于第一曝光时段加第三曝光时段，第一曝光时段和第三曝光时段为图像帧内相邻的两个时段。

在一种可能的实现方式中，图像传感方法还包括：生成复位电压；根据第一曝光信号和第二曝光信号，生成图像帧的图像信号和图像帧的动态视觉信号，包括：根据第一曝光信号、第二曝光信号和复位电压，生成图像帧的图像信号和图像帧的动态视觉信号。

在一种可能的实现方式中，动态视觉信号表征第三曝光时段内入射光的强度与第一曝光时段内入射光的强度之差。

在一种可能的实现方式中，动态视觉信号包括(第一曝光信号-第二曝光信号)-(复位电压-第一曝光信号)。

在一种可能的实现方式中，图像信号表征第三曝光时段内入射光的累积强度。

在一种可能的实现方式中，图像信号包括第一曝光信号与第二曝光信号之差。

在一种可能的实现方式中，图像信号表征第二曝光时段内入射光的累积强度。

在一种可能的实现方式中，图像信号包括第二曝光信号与复位电压之差。

在一种可能的实现方式中，阈值包括上阈值和下阈值；在动态视觉信号大于上阈值的情况下，事件表示图像帧内入射光由暗变亮；在动态视觉信号小于下阈值的情况下，事件表示图像帧内入射光由亮变暗；在动态视觉信号位于上阈值和下阈值之间的情况下，事件表示图像帧内入射光亮度不变。

本申请实施例的第三方面，提供一种电子设备，包括图像传感器和印刷电路板，图像传感器设置在印刷电路板上，图像传感器包括第一方面任一项的图像传感器。

附图说明

图1为本申请实施例提供的一种电子设备的框架示意图；

图2A为本申请实施例提供的一种图像传感器的框架示意图；

图2B为本申请实施例提供的另一种图像传感器的框架示意图；

图3A为本申请实施例提供的又一种图像传感器的框架示意图；

图3B为本申请实施例提供的又一种图像传感器的框架示意图；

图3C为本申请实施例提供的一种帧差法的输出示意图；

图4为本申请实施例提供的又一种图像传感器的框架示意图；

图5A为本申请实施例提供的一种图像传感器的结构示意图；

图5B为本申请实施例提供的一种光敏单元的时序图；

图6为本申请实施例提供的另一种图像传感器的结构示意图；

图7为本申请实施例提供的又一种图像传感器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

以下，术语“第二”、“第一”等仅用于描述方便，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第二”、“第一”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

此外，本申请实施例中，“上”、“下”、“左”、“右”等方位术语可以包括但不限于相对附图中的部件示意置放的方位来定义的，应当理解到，这些方向性术语可以是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中部件附图所放置的方位的变化而相应地发生变化。

在本申请实施例中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连。此外，术语“相耦接”可以是直接的电性连接，也可以通过中间媒介间接的电性连接。术语“接触”可以是直接接触，也可以是通过中间媒介间接的接触。

本申请实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供一种电子设备，该电子设备例如可以为摄像头、互联网协议摄像机(internet protocol camera，IPC)、具有前置和/或后置摄像头的手机、具有前置和/或后置摄像头的平板、数码照相机、数码摄像机、车载摄像头或者工业摄像头等具有图像采集功能的装置。此外，电子设备可以应用于安防领域、摄影摄像领域、汽车电子领域或者工业机器视觉领域等。

如图1所示，电子设备可以包括图像传感器10、镜头20和图像处理器30。其中，镜头20用于将被拍摄物体发出的光或反射的光汇聚至图像传感器10上，图像传感器10用于将接收到的光学图像转换为数字信号；图像处理器30用于对数字信号进行处理，并输出被拍摄物体的图像。

图像传感器10是电子设备的重要组成部分，影响着电子设备的性能。

现阶段，常用的图像传感器10包括动态视觉传感器(dynamic vision sensor，DVS)和互补金属氧化物半导体图像传感器(CMOS image sensor，CIS)两种。

在一些技术中，如图2A所示，提供一种DVS。DVS包括依次串联的光电转换模块、信号转换模块、信号处理模块、差分模块以及比较模块。

利用像素中的光电转换模块将入射光强线性转换为光电流，然后通过信号转换模块将光电流转为对数关系的曝光信号。对数关系的曝光信号经信号处理模块平移或者放大后送入差分模块中。差分模块计算当前时刻的曝光信号与接下来某一个时刻曝光信号的差值。然后将差值送入比较器中，与设定值进行比较，输出“事件”(事件定义为亮度变化，包括“暗变亮”、“亮变暗”、“亮度不变”三种，为数字量)。如果入射光强变亮，则曝光信号值会上升，高于设定值时，就会触发事件，即“暗变亮”。如果入射光强变暗，则曝光信号值会下降，低于设定值时，就会触发事件，即“亮变暗”。如果入射光强不变或者变化很小时，曝光信号不变，则不会触发事件，即“亮度不变”。

DVS虽然可以实现动态视觉，输出事件，但是无法逐帧成像。

基于上述问题，在一些技术中，如图2B所示，提供另一种动态像素和主动视觉传感器(dynamic pixel and active vision sensor，DAVIS)。

DAVIS是在DVS的基础上增加与光电转换模块一一对应耦接的有源像素传感器(activepixel sensor，APS)，光电转换模块生成的光生电子还传输至APS中，经APS实现逐帧成像。

但是，DAVIS每个像素中的光电转换模块一一对应耦接有APS，导致像素尺寸较大。从而导致相同芯片面积下，图像传感器的空间分辨率较低。另外，DAVIS无法做相关双采样(correlated double sampling，CDS)，导致图像质量比较差，读取噪声(read noise)和暗电流(dark current)也较大。再者，DAVIS像素的光电转换效率(QE)很低。此外，DAVIS产品绝大多数没有彩色滤光片(color filter)，只能输出灰度图像。

在一些技术中，如图3A所示，还提供一种CIS，CIS包括光敏单元、CDS、可变增益放大器(programmable gain amplifier，PGA)、模数转换器(analog-to-digital converter，ADC)以及存储器(memory)。

光敏单元用于将光信号转换成电信号后输出，CDS用于采集光敏单元输出的复位电压VRST和曝光信号VSIG，然后对复位电压VRST和曝光信号VSIG做差(VRST-VSIG)，消除大部分噪声，使差值(＝VRST-VSIG)正比于入射光强和曝光时长的乘积。

PGA是对前述差值进行线性放大，即提供模拟增益，满足ADC的输入摆幅要求。

ADC是对电压值进行量化，将模拟信号转换为数字信号，即亮度值。

存储器将ADC的量化结果存储起来。至此，图像传感器的工作全部完成。

CIS具有可以做相关双采样，提升图像质量、读取噪声小、暗电流小、光电转换效率高、可以彩色显示、占用面积小等优势。但是。只能逐帧成像，无法输出动态视觉事件。

基于此，在一些技术中，如图3B所示，示意一种改进后的CIS。每个像素除了CIS光敏单元之外，还包括DVS像素电路。逐帧成像和动态视觉共用光敏单元，但是信号处理电路是独立分开的。具体而言，关闭第一开关SW1，打开第二开关SW2，使改进后的CIS处于成像功能。关闭第二开关SW2，打开第一开关SW1，使改进后的CIS处于DVS动态视觉功能，光敏单元形成的光生电流被DVS像素电路处理，输出动态视觉事件。

这样虽然可以同时实现动态视觉功能和逐帧成像，但是每个光敏单元需耦接DVS像素电路，导致像素的结构复杂。从而导致相同芯片面积下，图像传感器的空间分辨率较低。另外，逐帧成像和动态视觉功能需要切换，二者只能择其一，在一帧中不能同时输出图像和动态视觉。

基于此，在一些技术中，在CIS的后端处理中实现运动检测，即帧差法。将CIS相邻的两个输出帧，同一像素点的亮度值做差，通过差值来判断动态事件。如图3C所示，和第1帧相比，第2帧多了一个“三角形”，所以动态视觉的结果是只有“三角形”对应的像素点才有输出。和第2帧相比，第3帧多了一个“长方形”，所示动态视觉的结果只有“长方形”。该方案易于实现，在图像信号处理单元中增加差分运算即可。

帧差法虽然可以在一帧中同时输出图像和动态视觉。但是其需要在当前帧所有行完成曝光和模数转换后才能开始下一帧的曝光。具体地，当前帧最后一行的模数转换完成后跟随有两帧之间的闲置时间，而下一帧第一行的首次曝光结束时间需晚于闲置时间的结束。这就会导致在进行亮度变化判断时只能根据前后帧的结果判断亮度变化，时间间隔较长，无法判断更短时间的亮度变化。另外，这样需要存储上一帧所有行的亮度值，待下一帧逐行输出亮度值后，对应像素做差分，会大幅增加存储需求。

基于此，本申请实施例提供一种图像传感器，用于在一帧中同时输出成像图像(动态图像+静态图像)和本帧中的动态图像。

如图4所示，本申请实施例提供一种图像传感器10，图像传感器10包括光敏单元11和列线电路12，光敏单元11的输出端与列线电路12耦接，列线电路12用于接收光敏单元11输出的光电转换信号。

光敏单元11被配置为生成曝光信号。

示例的，光敏单元11倍配置为接收第一曝光时段的曝光和第二曝光时段的曝光，生成与第一曝光时段内的入射光对应的第一曝光信号，和，生成与第二曝光时段内的入射光对应的第二曝光信号。其中，第一曝光时段和第二曝光时段为同一图像帧内的两个不同时段。

示例的，第一曝光时段和第二曝光时段为同一图像帧内相邻的两个时段。其中，可以是第一曝光时段在前，第二曝光时段在后。也可以是第一曝光时段在后，第二曝光时段在前。当然，第一曝光时段和第二曝光时段可以紧邻设置，第一曝光时段和第二曝光时段之间也可以间隔有其他时段。

或者，示例的，第一曝光时段和第三曝光时段为同一图像帧内相邻的两个时段，第二曝光时段等于第一曝光时段+第三曝光时段。其中，可以是第一曝光时段在前，第三曝光时段在后。也可以是第三曝光时段在前，第一曝光时段在后。当然，第一曝光时段和第三曝光时段可以紧邻设置，第一曝光时段和第三曝光时段之间也可以间隔有其他时段。

第一曝光信号对应于第一曝光时段内的入射光强与第一曝光时段对应的第一曝光时长的乘积。第二曝光信号对应于第二曝光时段内的入射光强与第二曝光时段对应的第二曝光时长的乘积。

本申请实施例对第一曝光时段的第一时长、第二曝光时段的第二时长以及第三曝光时段的第三时长的大小关系不做限定，第一时长、第二时长以及第三时长可以是任意关系。

列线电路12，包括相关双采样器(CDS)121、模数转换器(ADC)122以及比较器123。

CDS121例如与光敏单元11耦接，CDS121被配置为接收曝光信号，并对曝光信号进行处理，根据曝光信号，向ADC122输出图像帧的图像信号，向比较器123输出图像帧的动态视觉信号。

示例的，CDS121被配置为接收第一曝光信号和第二曝光信号，对第一曝光信号和第二曝光信号进行处理，向ADC122输出图像帧的图像信号，向比较器123输出图像帧的动态视觉信号。

也就是说，在一图像帧内，CDS121可以根据第一曝光信号和第二曝光信号既生成图像信号，又生成动态视觉信号。

ADC122与CDS121耦接，ADC122被配置为接收CDS121输出的图像信号，并将接收到的图像信号转换为数字信号后输出，以实现图像传感器的逐帧成像。

比较器123与CDS121耦接，比较器123被配置为接收CDS121输出的动态视觉信号，并将动态视觉信号与阈值进行比较，并根据比较结果输出事件，以实现图像传感器的事件检测(或者理解为是入射光强变化检测，或者是亮度变化检测，或者是动态视觉检测)。

例如，若动态视觉信号大于阈值，则输出的事件表示图像帧内的入射光由暗变亮。若动态视觉信号小于阈值，则输出的事件表示图像帧内的入射光由亮变暗。

继续参考图4，在一些实施例中，图像传感器10还包括存储器124，存储器124用于存储数模转换器122输出的数字信号。

在一些实施例中，图像传感器10还包括可变增益放大器(PGA)125,PGA125耦接于CDS121与ADC122之间，PGA125被配置为CDS121输出的图像信号进行线性放大，即提供模拟增益，满足ADC122的输入摆幅要求。

关于光敏单元11的结构，在一些实施例中，如图5A所示，光敏单元11包括第一晶体管M1、第二晶体管M2、第三晶体管M3、第四晶体管M4以及光电二极管(photodiode，PD)。

光电二极管PD的一端与参考地电压端GND耦接，光电二极管PD的另一端与第一晶体管M1的第一输出输入级耦接。

第一晶体管M1的控制极与第一控制信号端TG耦接，第一晶体管M1的第二输入输出极与节点FD耦接。

第二晶体管M2的控制极与复位控制信号端RST耦接，第二晶体管M2的第一输入输出极与电源电压端VDD耦接，第二晶体管M2的第二输入输出极与节点FD耦接。

第三晶体管M3的控制极与节点FD耦接，第三晶体管M3的第一输入输出极与电源电压端VDD耦接，第三晶体管M3的第二输入输出极与第四晶体管M4的第一输入输出极耦接。

第四晶体管M4的控制极与第二控制信号端RS耦接，第四晶体管M4的第二输入输出极与列线电路12耦接。

光电二极管PD工作在反偏电压下，用于将照射到自身的入射光转换为电子(被称为“光生电子”)。第一晶体管M1可以理解为是电荷传输门，第二晶体管M2可以理解为是复位管，第三晶体管M3可以理解为是源极跟随器，第四晶体管M4可以理解为是行选通器。节点FD可以理解为是一个悬浮扩散电位(floating diffusion，FD)节点。

在复位控制信号端RST接收的复位控制信号rst的控制下，第二晶体管M2导通，将电源电压端VDD的复位电压V3传输至节点FD，对节点FD进行复位，改变节点FD的电压VFD。在第二控制信号端RS接收的第二控制信号rs的控制下，第四晶体管M4导通，节点FD的复位电压通过第三晶体管M3和第四晶体管M4输出到列线电路12，被列线电路12处理。

在第一控制信号端TG接收的第一控制信号tg的控制下，第一晶体管M1导通，光电二极管PD中产生的光生电子，进入节点FD存储起来，改变节点FD的电压VFD。节点FD的电压VFD的变化量正比于入射光强与曝光时长的乘积，从而将光信号转换为电压信号。在第二控制信号端RS接收的第二控制信号rs的控制下，第四晶体管M4导通，节点FD的光电转换电压通过第三晶体管M3和第四晶体管M4输出到列线电路12，被列线电路12处理。至此，像素完成了光电转换和电信号的输出。

参见图5B所示的光敏单元11的时序图，一图像帧曝光时段被划分为多个子时段，本申请实施例中以曝光时段包括第一曝光时段t1和第三曝光时段t3，第二曝光时段t2为第一曝光时段t1和第三曝光时段t3之和为例进行示意。相当于说将原有完整曝光时长一分为二，判断第三曝光时段t3内的入射光强与第一曝光时段t1内的入射光强的相对大小，从而实现一图像帧曝光时段内的动态视觉功能。

第一控制信号tg第一次与复位控制信号rst同时为导通信号，对节点FD和光电二极管PD进行复位。

然后，第一控制信号tg、复位控制信号rst同时为截止信号，第一晶体管M1、第二晶体管M2均截止，光电二极管PD开始曝光。当第一曝光时段t1结束后，第一控制信号tg第二次为导通信号，第一晶体管M1导通，光电二极管PD将第一曝光时段t1内产生的光生电子经第一晶体管M1导入节点FD中，存储起来，同时引起节点FD的电压VFD下降。节点FD的电压VFD在第一控制信号tg第三次为导通信号之前经第四晶体管M4传输至列线电路12中。此时节点FD的电压VFD＝第一节点电压VFD1，光敏单元11的输出电压为第一电压V1。

将第一曝光时段t1内产生的光生电子从光电二极管PD导入节点FD后，光电二极管PD开始积累第三曝光时段t3产生的光生电子。当第三曝光时段t3结束后，第一控制信号tg第三次为导通信号，第一晶体管M1导通，光电二极管PD将第三曝光时段t3内产生的光生电子经第一晶体管M1导入节点FD中，存储起来，同时引起节点FD电压的进一步下降。节点FD的电压VFD在下一帧之前经第四晶体管M4传输至列线电路12中。此时节点FD的电压VFD＝第二节点电压VFD2，光敏单元11的输出电压为第二电压V2。

最后，复位控制信号rst再次为导通信号，电源电压端VDD经第二晶体管M2传输至节点FD。节点FD的电压VFD经第四晶体管M4传输至列线电路12中。此时节点FD的电压VFD＝第三节点电压VFD3，光敏单元11的输出电压为复位电压V3。

第一曝光时段t1结束后，节点FD的电压变为第一节点电压VFD1，第一曝光时段t1内的入射光对应的第一曝光信号为第一电压V1。第三曝光时段t3结束后，节点FD的电压在第一节点电压VFD1的基础上继续下降，变为第二节点电压VFD2。因此，光敏单元11的输出的第二电压V2应为第二曝光时段t2(第一曝光时段t1加第三曝光时段t3)内的入射光对应的第二曝光信号。第三曝光时段t3内的入射光对应的第三曝光信号应为第二曝光信号减去第一曝光信号。

也就是说，在光敏单元11驱动过程中，光敏单元11在一图像帧内的曝光时段内会依次输出第一电压V1(第一曝光信号)、第二电压V2(第二曝光信号)以及复位电压V3。

CDS121接收光敏单元11输出的第一电压V1(第一曝光信号)、第二电压V2(第二曝光信号)以及复位电压V3(也可以不接收)，并根据接收到的信号，生成图像信号和动态视觉信号。

其中，根据图像信号和动态视觉信号所表征的内容不同，CDS121对接收到的信号的处理方式不同。在一些实施例中，图像信号表征第二曝光时段t2内入射光的累积强度。

示例的，图像信号包括第二曝光信号。例如第二曝光信号＝第二电压V2。也就是说，CDS121将第二曝光信号作为图像信号传输至ADC122。

第二曝光时段t2持续的时间较长，产生的光生电子数多。因此，将第二曝光信号作为图像信号，图像信号的信噪比较大，闪烁噪声(shot noise)较小，图像质量较好。

或者，示例的，图像信号包括第二曝光信号与复位电压V3之差。例如，图像信号＝复位电压V3-第二电压V2。也就是说，CDS121对第二曝光信号和复位电压V3进行做差处理后，将得到的差值作为图像信号传输至ADC122。

由于第二电压V2是在复位电压V3的基础上减小的，因此，将复位电压V3和第二电压V2做差后的纯净变化值作为图像信号，提高图像质量。

在另一些实施例中，图像信号表征第三曝光时段t3内入射光的累积强度。

示例的，图像信号包括第一曝光信号与第二曝光信号之差，该差值对应于第三曝光时段t3内入射光的累积强度，即，第三曝光时段t3内入射光强与第三曝光时段t3对应的第三曝光时长T3的乘积。

例如，图像信号＝第一电压V1-第二电压V2。也就是说，CDS121对第一曝光信号与第二曝光信号进行做差处理后，将得到的差值作为图像信号传输至ADC122。

CDS121对第一曝光信号与第二曝光信号进行相关双采样，以获取第三曝光时段t3内入射光的累积强度，可以消除信号噪声(kT/C)。

在一些实施例中，动态视觉信号表征第三曝光时段t3内入射光的强度与第一曝光时段t1内入射光的强度之差。

示例的，动态视觉信号包括第一曝光信号与第二曝光信号之差，再减去，复位电压V3与第一曝光信号之差。

例如，动态视觉信号＝(第一电压V1-第二电压V2)-(复位电压V3-第二电压V2)/k。其中，第一曝光时段t1对应的时长为第一曝光时长T1，第三曝光时段t3对应的时长为第三曝光时长T3，k＝(T1+T3)/T3。k可以是任意正数。

(复位电压V3-第二电压V2)/k，可以使被比较的两个电压差，有相同的等效曝光时长，从而保证比较的变化量是入射光强，排除不同曝光时长的影响。

若入射光强从暗变亮，则动态视觉信号大于0；若入射光强从亮变暗，则动态视觉信号小于0。

关于实现上述功能的CDS121的结构，在一些实施例中，如图6所示，CDS121包括第一电容C1、第二电容C2、第三电容C3、第一运算放大器、第一开关S1、第二开关S2以及第三开关S3。

第一电容C1的第一端耦接于光敏单元11的输出端，第一电容C1的第二端耦接于第二电容C2的第一端和第一运算放大器OP1的第一输入端。

第二电容C2的第二端耦接于第一运算放大器OP1的输出端，第一运算放大器OP1的输出端耦接于CDS121的输出端O。

示例的，第一运算放大器OP1的输出端即为CDS121的输出端O。当然，第一运算放大器OP1的输出端与CDS121的输出端O之间还可以耦接有其他器件。

第一开关S1与第二电容C2并联，即，第一开关S1串联耦接于第一运算放大器OP1的第一输入端和第一运算放大器OP1的输出端之间。

第二开关S2的固定端耦接于第一运算放大器OP1的第二输入端，第二开关S2的两个选择端分别与复位电压端V_REF和第一节点W耦接。

第三开关S3串联耦接于第一节点W和CDS121的输出端O之间。

第三电容C3的第一端耦接于第一节点W，第三电容C3的第二端耦接于参考地电压端。

在一些实施例中，第一电容C1为可变电容。

这样一来，通过调整第一电容C1的大小，可改变C1/C2的增益，使得CDS121还可以具有信号放大功能，使CDS121进行相关双采样的同时，进行信号放大。

在一些实施例中，第二电容C2为可变电容。

这样一来，通过调整第二电容C2的大小，可改变C1/C2的增益，使得CDS121还可以具有信号放大功能，使CDS121进行相关双采样的同时，进行信号放大。

在一些实施例中，请继续参考图6，CDS121还包括缓冲器(buffer，B)。

缓冲器B的第一输入端耦接于缓冲器B的输出端，缓冲器B的第二输入端耦接于第一运算放大器OP1的输出端，缓冲器的输出端耦接于CDS121的输出端O。

在这种情况下，第三开关S3可以串联耦接于第一节点W和第一运算放大器OP1的输出端之间。

通过在CDS121中设置缓冲器B，可以提升CDS121的驱动能力，使图像传感器更快更稳定。

基于图6所示的CDS121的结构，在一些实施例中，CDS121输出图像信号和动态视觉信号的方法，包括:

第一阶段：

闭合第三开关S3，第一运算放大器OP1的第二输入端通过第二开关S2与复位电压端V_REF连通。CDS121依次读取光敏单元11输出的第一电压V1和第二电压V2。光敏单元11输出第一电压V1，闭合第一开关S1，第一运算放大器OP1的第一输入端和输出端短路。第一运算放大器OP1的输出端输出第一电压V1。然后光敏单元11输出第一电压V1，断开第一开关S1，根据CDS121的基本工作原理，第一运算放大器OP1的输出端输出变为V_REF+(C1/C2)*(V1-V2)，从而实现了模拟域的CDS功能(analog CDS)。

此时，根据CDS121的工作原理，CDS121的输出端O向ADC122输出图像信号V_CDS,1，图像信号V_CDS,1与第一电压V1和第二电压V2之差有关。

V_CDS,1＝V_W＝V_REF+(C1/C2)*(V1-V2)

其中，在第二电容C2为可变电容的情况下，CDS121的模拟增益为C1/C2。CDS121的输出端O输出的图像信号电压V_CDS,1同时也存储在第三电容C3中，第一节点W的电压V_W等于V_CDS,1。

第二阶段：

断开第三开关S3，此时第三电容C3的电压和第一节点W的电压V_W仍是V_REF+(C1/C2)*(V1-V2)。然后将CDS121的第二输入端从复位电压端V_REF切换到第一节点W，再将模拟增益设置为(C1/C2)/k(调整第一电容C1的容值)。CDS121依次读取光敏单元11输出的第二电压V2和复位电压V3。

此时，根据CDS121的工作原理，CDS121的输出端O向比较器123输出动态视觉信号V_CDS,2，动态视觉信号V_CDS,2与第二电压V2和复位电压V3之差有关。

V_CDS,2＝V_W+(C1/C2)/k*(V2–V3)

＝V_REF+(C1/C2)*(V1–V2)+(C1/C2)/k*(V2–V3)

＝V_REF+(C1/C2)*[V1–(1-1/k)V2–V3/k]

＝V_REF+(C1/C2)*[(1-1/k)(V1–V2)–1/k(V3-V1)]

示例的，若第一曝光时长T1＝第三曝光时长T3，即一图像帧的曝光时长二等分，则k＝2。此时，V_CDS,2＝V_REF+(C1/C2)*[0.5(V1–V2)–0.5(V3-V1)]。(V1-V2)代表第三曝光时段t3内的入射光强，(V3-V1)代表第一曝光时段t1内的入射光强，两者做差。示例的，阈值为0，若V_CDS,2>0，则代表一图像帧的的亮度由暗变亮，若V_CDS,2<0，则代表一图像帧的的亮度由亮变暗。

在一些实施例中，阈值包括上阈值和下阈值。

在动态视觉信号V_CDS,2大于上阈值V_U的情况下，事件表示图像帧内入射光由暗变亮。

在动态视觉信号V_CDS,2小于下阈值V_P的情况下，事件表示图像帧内入射光由亮变暗。

在动态视觉信号V_CDS,2位于上阈值V_U和下阈值V_P之间的情况下，事件表示图像帧内入射光亮度不变。

通过设置上阈值V_U和下阈值V_P，使得事件的判断有缓冲区间，可以减少电路噪声和入射光的散粒噪声(shot noise)对判断结果的影响。改善在临界点附近，由于信号中含有的噪声波动，导致事件判断结果出现不稳定的跳变。

基于此，在一些实施例中，如图7所示，列线电路12还包括阈值器125，阈值器125包括第二运算放大器OP2、第一电阻R1、第二电阻R2以及第三电阻R3。

第二运算放大器OP2的第一输入端耦接于第一电阻R1的第一端，第二运算放大器OP2的第二输入端耦接于复位电压端V_REF，第二运算放大器OP2的输出端耦接于上阈值输出端VU。

第一电阻R1的第二端耦接于第三电阻R3的第一端和下阈值输出端VP。

第三电阻R3的第二端耦接于参考地电压端。

第二电阻R2耦接于第二运算放大器OP2的第一输入端和第二运算放大器OP2的输出端之间。

根据短路分压原理，上阈值输出端VU输出的上阈值V_U＝VREF*(R1+R2+R3)/(R1+R3)＝VREF*(1+R2/(R1+R3))。下阈值输出端VP输出的下阈值V_P＝VREF*R3/(R1+R3)＝VREF*(1-R1/(R1+R3))。

将复位电压端V_REF的电压VREF增加R2/(R1+R3)百分比，作为上阈值V_U，将复位电压端V_REF的电压VREF减少R1/(R1+R3)百分比，作为下阈值V_P，输入比较器123中。示例的，如果R2/(R1+R3)＝R1/(R1+R3)＝0.1，则代表上阈值V_U为1.1*VREF，下阈值V_P为0.9*VREF。

本申请实施例提供的图像传感器10，将光敏单元11在一图像帧中完整的曝光时段划分为多个子曝光时段，将多个曝光时段产生的光生电子依次输出至列线电路12进行处理，得到不同曝光时段对应的亮度信息，实现亮度变化的判断。在列线电路12处理的过程中，对于一图像帧而言，CDS121可以输出该图像帧的图像信号和动态视觉信号，而非只能择一输出。通过在列线电路12中增加与ADC122并列的比较器123，ADC122可以用来输出该图像帧的图像，比较器123可以直接用来输出该多个曝光时段的动态变化(事件)。事件的判断无需对ADC122输出的图像进行量化，从而减少存储空间和功耗。而且，输出的动态视觉信号是一图像帧曝光时段内的多个子时段之间的动态变化，相当于帧内插帧，而非前/后两帧的动态变化，动态视觉的判断不受帧率限制。再者，本申请中的图像传感器10是在传统CIS的基础上做出的改进，可以复用成熟的CIS工艺制程和图像算法，技术难度低，产品开发周期短。同时，不增加DVS像素后端电路，从而大幅减小光敏单元中的晶体管的数量，减小光敏单元11的尺寸。在有限的面积内，仍可以实现高分辨率。

上述仅是以本申请实施例提供的图像传感器10包括一个光敏单元11为例进行示意，在一些实施例中，图像传感器10包括阵列排布的多个光敏单元11，位于同一列的光敏单元11与同一列线电路12耦接。

本申请实施例还提供一种图像传感方法，图像传感方法包括：

接收第一曝光时段的入射光和第二曝光时段的入射光，生成与第一曝光时段内的入射光对应的第一曝光信号，和，生成与第一曝光时段加第二曝光时段内的入射光对应的第二曝光信号。第一曝光时段和第二曝光时段为同一图像帧内的两个不同时段。

示例的，该过程可以由图像传感器10中的光敏单元11来完成，通过控制光敏单元11的驱动时序，可使光敏单元11输出一图像帧内不同曝光时段的信号。可参考上述关于光敏单元11的相关描述。

根据第一曝光信号和第二曝光信号，生成图像帧的图像信号和图像帧的动态视觉信号。

示例的，该过程可以由图像传感器10中的CDS121来完成，可参考上述关于CDS121的相关描述。

将图像信号转换为数字信号并输出。

示例的，该过程可以由图像传感器10中的ADC122来完成，可参考上述关于ADC122的相关描述。

将动态变化信号与阈值进行比较，并根据比较结果输出事件。

示例的，该过程可以由图像传感器10中的比较器123来完成，可参考上述关于比较器123的相关描述。

在一些实施例中，第二曝光时段等于第一曝光时段加第三曝光时段，第一曝光时段和第三曝光时段为图像帧内相邻的两个时段。可以第一曝光时段在前，第三曝光时段在后。也可以第一曝光时段在后，第三曝光时段在前。

在一些实施例中，图像传感方法还包括：生成复位电压。

那么，根据第一曝光信号和第二曝光信号，生成图像帧的图像信号和图像帧的动态视觉信号，包括：根据第一曝光信号、第二曝光信号和复位电压，生成图像帧的图像信号和图像帧的动态视觉信号。这样一来，可以去除复位电压中的噪声。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像传感器，其特征在于，包括：

光敏单元，被配置为生成曝光信号；

列线电路，包括相关双采样器(CDS)、模数转换器(ADC)以及比较器；

所述相关双采样器，被配置为接收所述曝光信号，根据所述曝光信号向所述模数转换器输出所述图像帧的图像信号，向所述比较器输出所述图像帧的动态视觉信号；

所述模数转换器，被配置为将接收到的所述图像信号转换为数字信号后输出；

所述比较器，被配置为将所述动态视觉信号与阈值进行比较。

2.根据权利要求1所述的图像传感器，其特征在于，所述相关双采样器包括第一电容、第二电容、第三电容、第一运算放大器、第一开关、第二开关以及第三开关；

所述第一电容的第一端耦接于所述光敏单元的输出端，所述第一电容的第二端耦接于所述第二电容的第一端和所述第一运算放大器的第一输入端；

所述第二电容的第二端耦接于所述第一运算放大器的输出端；所述第一运算放大器的输出端耦接于所述相关双采样器的输出端；

所述第一开关与所述第二电容并联；

所述第二开关的固定端耦接于所述第一运算放大器的第二输入端，所述第二开关的两个选择端分别与复位电压端和第一节点耦接；

所述第三开关串联耦接于所述第一节点和所述相关双采样器的输出端之间；

所述第三电容的第一端耦接于所述第一节点，所述第三电容的第二端耦接于参考地电压端。

3.根据权利要求2所述的图像传感器，其特征在于，所述第二电容为可变电容。

4.根据权利要求2或3所述的图像传感器，其特征在于，所述相关双采样器还包括缓冲器；

所述缓冲器的第一输入端耦接于所述缓冲器的输出端，所述缓冲器的第二输入端耦接于所述第一运算放大器的输出端，所述缓冲器的输出端耦接于所述相关双采样器的输出端。

5.根据权利要求1-4任一项所述的图像传感器，其特征在于，所述阈值包括上阈值和下阈值；

在所述动态视觉信号大于所述上阈值的情况下，比较结果表示图像帧内入射光由暗变亮；

在所述动态视觉信号小于所述下阈值的情况下，比较结果表示图像帧内入射光由亮变暗；

在所述动态视觉信号位于所述上阈值和所述下阈值之间的情况下，比较结果表示图像帧内入射光亮度不变。

6.根据权利要求5所述的图像传感器，其特征在于，所述列线电路还包括阈值器，所述阈值器包括第二运算放大器、第一电阻、第二电阻以及第三电阻；

所述第二运算放大器的第一输入端耦接于第一电阻的第一端，所述第二运算放大器的第二输入端耦接于复位电压端，所述第二运算放大器的输出端耦接于上阈值输出端；

所述第一电阻的第二端耦接于第三电阻的第一端和下阈值输出端；

所述第三电阻的第二端耦接于参考地电压端；

所述第二电阻耦接于所述第二运算放大器的第一输入端和所述第二运算放大器的输出端之间。

7.根据权利要求1-6任一项所述的图像传感器，其特征在于，所述曝光信号包括与第一曝光时段内的入射光对应的第一曝光信号，和，生成与第二曝光时段内的入射光对应的第二曝光信号；所述第一曝光时段和所述第二曝光时段为所述光敏单元在同一图像帧曝光时段内的两个不同时段。

8.根据权利要求1-7任一项所述的图像传感器，其特征在于，所述光敏单元还被配置为生成复位电压；所述相关双采样器还被配置为接收所述复位电压。

9.根据权利要求7所述的图像传感器，其特征在于，所述第二曝光时段等于所述第一曝光时段加第三曝光时段，所述第一曝光时段和所述第三曝光时段为所述图像帧内相邻的两个时段；

所述动态视觉信号表征所述第三曝光时段内入射光的强度与所述第一曝光时段内入射光的强度之差。

10.根据权利要求7-9任一项所述的图像传感器，其特征在于，所述第二曝光时段等于所述第一曝光时段加第三曝光时段，所述第一曝光时段和所述第三曝光时段为所述图像帧内相邻的两个时段；

所述图像信号表征所述第三曝光时段内入射光的累积强度。

11.根据权利要求7-9任一项所述的图像传感器，其特征在于，所述图像信号表征所述第二曝光时段内入射光的累积强度。

12.一种图像传感方法，其特征在于，所述图像传感方法包括：

生成曝光信号；

根据所述曝光信号，生成所述图像帧的图像信号和所述图像帧的动态视觉信号；

将所述图像信号转换为数字信号并输出；

将所述动态变化信号与阈值进行比较。

13.根据权利要求12所述的图像传感方法，其特征在于，生成曝光信号，包括：

接收第一曝光时段的入射光和第二曝光时段的入射光，生成与所述第一曝光时段内的入射光对应的第一曝光信号，和，生成与所述第一曝光时段加所述第二曝光时段内的入射光对应的第二曝光信号；所述第一曝光时段和所述第二曝光时段为同一图像帧曝光时段内的两个不同时段。

14.根据权利要求12或13所述的图像传感方法，其特征在于，所述图像传感方法还包括：生成复位电压。

15.根据权利要求13所述的图像传感方法，其特征在于，所述第二曝光时段等于所述第一曝光时段加第三曝光时段，所述第一曝光时段和所述第三曝光时段为所述图像帧内相邻的两个时段；

16.根据权利要求13-15任一项所述的图像传感方法，其特征在于，所述第二曝光时段等于所述第一曝光时段加第三曝光时段，所述第一曝光时段和所述第三曝光时段为所述图像帧内相邻的两个时段；

所述图像信号表征所述第三曝光时段内入射光的累积强度。

17.根据权利要求13-16任一项所述的图像传感方法，其特征在于，所述图像信号表征所述第二曝光时段内入射光的累积强度。

18.根据权利要求12-17任一项所述的图像传感方法，其特征在于，所述阈值包括上阈值和下阈值；

19.一种电子设备，其特征在于，包括图像传感器和印刷电路板，所述图像传感器设置在所述印刷电路板上，所述图像传感器包括权利要求1-11任一项所述的图像传感器。