CN110832846A

CN110832846A - 像素单元、图像传感器及其运行方法、摄像装置

Info

Publication number: CN110832846A
Application number: CN201880039854.7A
Authority: CN
Inventors: 江宝坦
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2020-02-21
Anticipated expiration: 2038-08-31
Also published as: WO2020042189A1; CN110832846B

Abstract

像素单元(4A)、图像传感器(8)及其运行方法、摄像装置(100)。像素单元(4A)包括用于将光信号转化为电信号的光电转换模块(20)、用于对所述光电转换模块(20)进行复位的复位模块(40)、计数器(80)和复位控制器(60)。所述计数器(80)的计数值能够由像素单元(4A)外部的元件设定。复位控制器(60)用于根据所述计数器(80)的计数值对所述复位模块(40)的复位操作进行控制。

Description

像素单元、图像传感器及其运行方法、摄像装置

技术领域

本发明涉及像素单元、图像传感器及其运行方法、摄像装置。

背景技术

图像传感器有持续改善图像动态范围的需求。相关图像传感器可通过在像素单元内增设元件，例如比较器、模数转换器，来改善动态范围。但是，不可避免地都会引入其它较明显的缺陷。

因而，有必要对此进行改善。

发明内容

根据本发明实施例的第一方面，提供一种像素单元，所述像素单元包括：

光电转换模块，用于将光信号转化为电信号；

复位模块，用于对所述光电转换模块进行复位；

计数器，所述计数器的计数值能够由像素单元外部的元件设定；

复位控制器，用于根据所述计数器的计数值对所述复位模块的复位操作进行控制。

可选的，所述计数器的计数值根据上一帧图像中像素单元的灰度值来设定。

可选的，所述复位模块包括复位晶体管，所述复位晶体管的栅极与所述复位控制器相连，所述复位晶体管的漏极与所述光电转换模块相连。

可选的，所述光电转换模块包括光电二极管，所述光电二极管的一端接地。

根据本发明实施例的第二方面，提供一种图像传感器，所述图像传感器包括像素单元阵列，所述像素单元阵列包括多个如前所述的像素单元。

可选的，所述图像传感器为CMOS图像传感器。

根据本发明实施例的第三方面，提供一种如前所述的图像传感器的运行方法，其中，在一帧图像时间内，根据计数器的计数值对复位模块的复位进行控制。

根据本发明实施例的第四方面，提供一种像素单元，所述像素单元包括：

光电转换模块，用于将光信号转化为电信号；

复位模块，用于对所述光电转换模块进行复位，所述复位模块的复位操作由像素单元外部的元件进行控制。

可选的，像素单元外部的所述元件根据上一帧图像中像素单元的灰度值来控制所述复位模块的复位。

根据本发明实施例的第五方面，提供一种图像传感器，所述图像传感器包括像素单元阵列，所述像素单元阵列包括多个如前所述的像素单元。

可选的，所述图像传感器为CMOS图像传感器。

可选的，所述复位模块的复位操作由主控控制器进行控制。

可选的，所述图像传感器还包括存储器，所述存储器连接所述主控控制器和所述像素单元阵列，所述主控控制器用于向所述储存器写入与所述像素单元相关的数据，根据所述数据对所述复位模块的复位操作进行控制。

可选的，所述图像传感器还包括：

寻址模块，用于将所述储存器内的所述数据传输至相应的像素单元。

可选的，所述寻址模块包括：

地址产生器；

行寻址模块，与所述地址产生器相连，所述行寻址模块的行线与位于同一行内的多个像素单元相连；

列寻址模块，与所述地址产生器相连，所述列寻址模块的列线与位于同一列内的多个像素单元相连。

可选的，所述图像传感器还包括：

列读出电路，用于读出来自所述像素单元的信号，同一列内的多个像素单元通过一条列线与所述列读出电路相连；

模数转换器，用于将所述列读出电路读出的信号由模拟态转换成数字态并传输至主控控制器。

根据本发明实施例的第六方面，提供一种如前所述图像传感器的运行方法，其中，在一帧图像时间内，根据上一帧图像中像素单元的灰度值对复位模块的复位进行控制。

根据本发明实施例的第七方面，提供一种摄像装置，所述摄像装置包括主控控制器和如前所述的图像传感器。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的摄像装置的结构示意图；

图2是本发明一实施例的像素单元的结构示意图；

图3是本发明一实施例的像素单元的工作时序图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

在本发明和所附权利要求书中所使用的“物A用于处理事件a”，仅表示在需要时A可进行事件a的处理，并不表示A不能进行其它事件的处理，也不表示A必须所有时刻都在进行a的处理。

下面结合附图，对本发明的实施例进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

为提高图像传感器(比如，CMOS图像传感器)的动态范围，通常有两种改善思路：一种是降低图像传感器的噪声，另一种是对不同的像素单元设置不同的曝光时间。

比如，通过在每一个像素单元内或者在每几个像素单元之间集成一个模数转换器(ADC)和基本的数字处理模块，将光电二极管所产生的模拟光生电压信号直接转化为数字信号，可有效降低噪声。但是，由于模数转换器的存在，像素单元的填充率较低，并且整个系统的时序也比较复杂。

又如，在每个像素单元中设置专用控制电路控制和记录该像素单元的曝光时间。根据专用控制电路的不同，可分为Time-to-First-Spike模式和Light-to-FrequencyConversion模式。

Time-to-First-Spike的专用控制电路可包括一个比较器和一个存储器。比较器用于监控光电二极管的电压，并预存有一个参考电压。在有光进入之前，复位信号有效，复位晶体管导通，光电二极管的电容被充电。在有光进入后，随着光感电子的增多，复位晶体管的电压开始下降。当该电压下降至参考电压时，比较器会产生一个脉冲。基于比较器的上述脉冲，存储器可存储下该像素单元的曝光时间。

Light-to-Frequency Conversion的专用控制电路可包括一个比较器和一个计数器。比较器用于监控光电二极管的电压，并预存有一个参考电压。在有光进入之前，复位信号有效，复位晶体管导通，光电二极管的电容被充电。在有光进入后，随着光感电子的增多，复位晶体管的电压开始下降。当该电压下降至参考电压时，比较器会产生一个脉冲。该脉冲会触发计数器计数，并触发反馈电路产生复位信号，光电二极管的电容被充电。如此反复，直至一帧积分时间结束，读出计数器的值然后清零。根据计数器的所述值可确定曝光时间，并构建图像。

但是，比较器和参考电压等在像素单元内的存在会引入额外的噪声，限制动态范围的提高。另外，参考电压不能及时调整，无法满足不同应用场景的需求。

本发明实施例利用外部元件(比如，主控控制器)预设出各个像素单元的曝光时间，根据该预设的曝光时间对像素单元内复位控制器的状态进行控制，藉此提高了图像传感器所成图像的动态范围。由于避免了比较器、模数转换器等元件在像素单元中的存在，因而有效改善了图像传感器所成图像的动态范围。

如图1，本发明实施例摄像装置100可包括图像传感器8和主控控制器7。其中，图像传感器8用于将进入摄像装置100镜头的光信号转化为电信号。所产生的电信号经过后续处理，可形成图像。图像传感器8可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器。主控控制器7用于对摄像装置100内主要部件(包括图像传感器8)的整体工作进程进行控制。

摄像装置100可以是摄像头、照相机、摄像机等具有成像功能的设备或部件。除图像传感器8、主控控制器7外，根据需要，摄像装置100还可包括镜头、外壳和显示屏等。此处不作限制。

继续参图1，图像传感器8可包括像素单元阵列4、地址产生器3、列寻址模块1、行寻址模块2和列读出电路6等。

像素单元阵列4内包含多个像素单元4A。多个像素单元4A可排布为多行多列的矩阵状。图中所示像素单元4A排布为3行3列，仅为示意，并不对本发明构成限制。每一像素单元4A的基本结构可大体相同或不同。每一像素单元4A可包括可将光信号转化为电信号的光电转换模块以及可对光电转换模块进行复位的复位模块。其中，光电转换模块可以是光电二极管。复位模块可以是复位晶体管。

地址产生器3、列寻址模块1和行寻址模块2可用于寻址、定位像素单元阵列4中的像素单元4A。同一行内的像素单元4A可通过一条行线与行寻址模块2相连。同一列内的像素单元4A可通过一条列线与列寻址模块1相连。在行寻址模块2的行线和列寻址模块1的列线被选定后，像素单元4A即被确定。通过寻址在像素单元阵列4内将像素单元4A确定，有利于对像素单元4A的准确读写。

列读出电路6用于读出像素单元4A内的数据(比如，由光信号转化而来的电信号)。同一列内的像素单元4A可通过一条列线与列读出电路6相连。对像素单元阵列4的读写通常采用逐行或隔行扫描的形式。在扫描到某一行时，该行内的各个像素单元4A可通过其所在的列线将其内的数据传输至列读出电路6。藉此，该行内的各个像素单元4A被读出。

图像传感器8还可包括模数转换器(Analog to Digital Converter，简称ADC)。模数转换器可用于将被列读出电路6读出的数据由模拟态转换成数字态。该数字态的数据可传输至主控控制器7。基于像素单元阵列4内各个像素单元4A的数据，可形成图像。

为提高图像的动态范围，可利用主控控制器7预设出各个像素单元4A的曝光积分时间，并可根据该预设的曝光积分时间对像素单元4A内复位晶体管的状态(复位时刻)进行控制。

比如，可在图像传感器8内设置存储器5，如图1。存储器5可用来存储与各个像素单元4A相关的数据，所述数据的大小与对应像素单元的预设曝光时间有关。所述数据的大小决定或影响复位晶体管的复位时刻(即导通时刻)。

可通过行寻址模块2和列寻址模块1等寻址模块将存储器5内的各个数据传输至相应的像素单元4A。基于所接收到的所述数据，各个像素单元4A可对其内部的复位晶体管的状态(比如，何时复位、何时终止复位等)进行控制，使得各个像素单元4A可获得所需的曝光积分时间。

比如，对于较亮的像素单元，可将其对应的数据值设置得较大，以使其复位的时刻较晚，如图3所示。在一帧图像时间内，复位之后剩余的时间才是曝光积分时间。上述设置使得该较亮像素单元的曝光积分时间较短。对于高亮像素，适当减小曝光时间有利于防止过曝。

对于较暗的像素单元，可将其对应的数据值设置得较小，以使其较早的复位，从而具有较长的曝光积分时间。

存储器5内的所述数据可由主控控制器7来设定、改写。与比较器中的参考电压相比，存储器5内的所述数据极为容易被设定、改写。这有利于拓展图像传感器8的应用场景。

为改善或保证各个像素单元所被赋予的、与复位时刻相关的上述数据能最终获得较好的图像质量，可在成像前预先对待拍摄图像的各处灰度值进行采集、分析，并藉此来设定各个像素单元的预设曝光时间。具体而言，在按下快门、形成定格的图像前，用户通常会利用摄像装置100的显示屏对将形成的图像(以下简称为“样图”)进行观察。在此期间，主控控制器7可对样图进行灰度值分析。主控控制器7可根据该样图内各个像素单元的灰度值，对存储器5内的各个预设曝光时间进行设定。

实际拍摄中，样图可存在许多张。理论上，越接近按下快门时刻所形成的样图，其情景越接近按下快门时所定格的图像。可将最接近的一张或几张样图称为上一帧图像。

预设曝光时间设定后，可通过软件算法对其进行验证。若不符合算法要求，可对预设曝光时间进行重新设定，直至符合算法要求。算法可有多种，以所成图像与实际拍摄物的接近程度高为目标。此处不作限制。

在各个像素单元的预设曝光时间被确定后，与其对应的、存储器内的相应数据值可被确定。通常而言，预设曝光时间越长，对应的所述数据值越小。

图1实施例通过存储器5来接收与各个像素单元4A的预设曝光时间(或者复位时刻)相关的数据，容易理解，在其它实施例可通过其它元件来接收上述数据。比如，可在每一像素单元内或特定像素单元内增设部件来接收上述数据，并利用上述数据对所述像素单元的复位进行控制。

如图2，本发明实施例像素单元可包括可将光信号转化为电信号的光电转换模块20、可对光电转换模块20进行复位的复位模块40、计数器80和复位控制器60。

计数器80的计数值可由像素单元外部的元件(比如，主控控制器)设定。所设定的计数值决定了像素单元的曝光时间和复位时刻，大体可相当于图1实施例存储器内的数据(值)。对应像素单元的预设曝光时间越长，该计数值越小。复位控制器60可根据计数器80的计数值对复位模块40的复位操作进行控制。

基于计数器80的计数值，像素单元可对其内部的复位模块40的状态(比如，何时复位、何时终止复位等)进行控制，使得像素单元可获得所需的曝光积分时间。比如，如图3所示，对于较亮的像素单元，可通过对其设定一个较大的计数值来使得其在一帧图像时间内具有较晚的复位时间和较小的曝光积分时间；对于较暗的像素单元，可通过对其设定一个较小的计数值来使得其在一帧图像时间内具有较早的复位时间和较长的曝光积分时间。

所述计数值的设定原则和方法可与图1实施例存储器内的预设曝光时间的设定相同或类似。比如，所述计数器的计数值可根据上一帧图像中像素单元的灰度值来设定。这里不再赘述。

其中，复位模块40可以是复位晶体管。所述复位晶体管的栅极43可与复位控制器60相连，所述复位晶体管的漏极47可与光电转换模块20相连。光电转换模块20可以是光电二极管，所述光电二极管的一端可接地。图中的Vpd端为光电二极管的输出端。

说明一点，如图2所示的像素单元可应用在如图1所示的图像传感器中。其中，存储器5可用于向对应的像素单元写入计数器80的计数值。当然，如图2所示的像素单元可应用在常规的图像传感器中，所述图像传感器可不包括相同或类似的存储器5。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种像素单元，其特征在于，所述像素单元包括：

光电转换模块，用于将光信号转化为电信号；

复位模块，用于对所述光电转换模块进行复位；

2.如权利要求1所述的像素单元，其特征在于，所述计数器的计数值根据上一帧图像中像素单元的灰度值来设定。

3.如权利要求1所述的像素单元，其特征在于，所述复位模块包括复位晶体管，所述复位晶体管的栅极与所述复位控制器相连，所述复位晶体管的漏极与所述光电转换模块相连。

4.如权利要求1所述的像素单元，其特征在于，所述光电转换模块包括光电二极管，所述光电二极管的一端接地。

5.一种图像传感器，其特征在于，所述图像传感器包括像素单元阵列，所述像素单元阵列包括多个如权利要求1至4任一项所述的像素单元。

6.如权利要求5所述的图像传感器，其特征在于，所述图像传感器为CMOS图像传感器。

7.一种如权利要求5或6所述的图像传感器的运行方法，其特征在于，在一帧图像时间内，根据计数器的计数值对复位模块的复位进行控制。

8.如权利要求7所述的运行方法，其特征在于，所述计数器的计数值根据上一帧图像中像素单元的灰度值来设定。

9.一种像素单元，其特征在于，所述像素单元包括：

光电转换模块，用于将光信号转化为电信号；

10.如权利要求9所述的像素单元，其特征在于，像素单元外部的所述元件根据上一帧图像中像素单元的灰度值来控制所述复位模块的复位。

11.一种图像传感器，其特征在于，所述图像传感器包括像素单元阵列，所述像素单元阵列包括多个如权利要求9或10所述的像素单元。

12.如权利要求11所述的图像传感器，其特征在于，所述图像传感器为CMOS图像传感器。

13.如权利要求11所述的图像传感器，其特征在于，所述复位模块的复位操作由主控控制器进行控制。

14.如权利要求13所述的图像传感器，其特征在于，所述图像传感器还包括存储器，所述存储器连接所述主控控制器和所述像素单元阵列，所述主控控制器用于向所述储存器写入与所述像素单元相关的数据，根据所述数据对所述复位模块的复位操作进行控制。

15.如权利要求14所述的图像传感器，其特征在于，所述图像传感器还包括：

16.如权利要求15所述的图像传感器，其特征在于，所述寻址模块包括：

地址产生器；

17.如权利要求14所述的图像传感器，其特征在于，所述图像传感器还包括：

18.一种如权利要求11至17任一项所述的图像传感器的运行方法，其特征在于，在一帧图像时间内，根据上一帧图像中像素单元的灰度值对复位模块的复位进行控制。

19.一种摄像装置，其特征在于，所述摄像装置包括主控控制器和如权利要求5至6、11至17中任一项所述的图像传感器。