CN100490506C - 采用多次取样通过时间-索引实现宽动态范围的图象传感器 - Google Patents

Abstract

本发明公开了一种数字象素传感器的结构，该传感器的动态范围通过对有待记录的目标进行多次取样而得到扩大，其中，每次取样是在一个与其他取样不同的持续时间间隔完成的。在本发明的一个优选实施例中，象素元阵列的每一象素元输出一个数字信号并包括集成在一起的一个光电检测器和一个模数转换器。还提供有一阈存储器单元阵列，每一个对应于一个象素元。一时间存储器单元阵列，其中每一个对应于一个象素元，为每个象素元在多次取样中的每一次取样建立不同的曝光时间。也提供了一存储器单元阵列，每一个连接一个象素元。这些存储器单元也制作在该集成电路上，它们仅在对应的一个阈存储器单元中的内容允许时才从对应的一个象素元接受数值。

Description

采用多次取样通过时间-索引实现宽动态范围的图象传感器

技术领域

本发明涉及图象传感器系统。更具体地，本发明涉及一种图象传感器结构以及通过采用时间-索引方法实现宽动态范围促进图象多次取样的相关方法。

背景技术

数字照相术是二十世纪出现的最令人激动的技术之一。用适当的硬件和软件(及一点知识)，任何人可以将数字照相的原理用于实践。比如，数字照相机就处于数字照相术的前沿。随着电子信函和环球网的出现，近来的产品介绍、技术发展和价格下降使得数字照相机成为消费者消费的最热门电子产品。

但是，数字照相机与传统的胶卷照相机工作方式不同。实际上，它们与计算机扫描仪、复印机或传真机更接近。大多数数字照相机用一个图象传感器或感光装置比如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来读出某一景物。感光装置与从景物反射过来的光反应并将该反应的强度转换为一个数值当量。例如，让光经过红、绿、和蓝滤光器，可以为每个独立色谱测量该反应。当通过软件对该读数组合和求值时，照相机可以确定每个图象元素的具体颜色。因为图象实际上是一个数据集合，所以容易被下载到计算机并做更好艺术效果的处理。

然而，由于现有数字照相机中的图象传感器的分辨率有限，所以许多情况下不能简单地使用数字照相机。以胶卷为基础的照片具有不可测量的比数字照相机高的分辨率。传统的以胶卷为基础的技术通常有数千万个象素的分辨率，但现在可以按消费者能接受的价格来生产的数字照相机中的图象传感器有略多于百万个的象素。

动态范围是用于数字照相机图象传感器优点的另一个决定性特征。一个图象传感器的动态范围时常不宽到足以捕获既有亮区又有暗影的景物。这一点尤其适合动态范围一般比CCDs低的CMOS传感器的情形。

以前建议的扩大这些装置动态范围的解决方案可以分为以下三类：

·压缩感应特性曲线；

·多次取样；和

·控制积分时间。

用一个具有对数响应的传感器压缩感应特性曲线。

它由两个方法实现：

·第一个方法是用一个CMOS传感器，它以一个瞬时电流读出模式工作。在该模式下，光电探测器产生的光电流被馈入一个有对数响应的装置里以压缩传感器转换曲线，该装置比如是一个连接MOS晶体管的二极管。虽然这种配置可以实现很宽的动态范围，但是作为结果的图象质量因低信噪比(SNR)而一般较差。

·压缩感应曲线的第二种方法是用一种参照井容量(well capacity)调节的技术。这里，通过在曝光时间内一次或多次增加井容量(well capacity)来增加动态范围。积分期间井容量(well capacity)单调地增加到它的最大值。多余的光生电荷通过一个溢流门排出。但是，这种方法遭受大的固定图象噪声和信噪比降低。

在多次取样中，景物在不同曝光时期成像几次并且将数据结合起来构成一个高动态范围图象。对于这种在合理的捕获次数下工作的方法，读出过程必须在比普通的活动象素传感器(APS)高得多的速度下完成。这种多次取样方案有效地实现了宽动态范围。事实上，需要读出许多的数据，这对于许多类型的传感器特别难以承担。

控制积分时间是相比其他方法具有一些有前途特点的第三种方法。大体上，每个象素的曝光时间被单独调整以便它们在每个积分周期结束时不会饱和。有许多途径来实现该方法。

一个途径是在每个象素上安放一个设置-复位触发器和一个与门来控制积分起始时间，以实现本地曝光控制。但是，这种方法受到下面的限制：

·每个象素因触发器和与门的包含而太大。

·需要一个大的“时标”存储器存储所有象素的曝光时间。每个象素的曝光时间可以通过试验各种曝光时间确定。当捕获移动景物时，曝光时间改变，因此必须更新“时标”存储器，这不仅难承受而且引起图象滞后。

·另外，除了用于象素读出的列和行解码器，还需要其他的列和行解码器控制触发器。

已知第二种途径是用于单独象素复位(IPR)以实现当地曝光控制，即将一个第二复位晶体管加在标准三-晶极管APS上以便可以从外部控制每个象素的积分起始时间。该第二途径保持象素的小尺寸，但需要大的外部存储器存储所有象素的曝光时间，并且还需要存储器刷新和附加的列和行解码器。另外，可能需要将多个复位脉冲在整个复位周期加在每个象素上。为复位脉冲的时间控制可以很复杂。

因此，非常需要一个克服某些上述缺陷的宽动态范围的图象传感器，尤其是，有宽动态范围的输出图象数据。还有，传感器不需要一个外部时标存储器和控制逻辑来更新曝光时间。

发明内容

这里公开了一种数字象素传感器的结构，其中通道给被记录的目标做标记增加传感器的动态范围，这里每个标记在与其他标记不同周期的时间间隔内做出。使用不同记录间隔允许多个光电探测器信号的积分与一个阈值有关并且由此扩大光电探测器的动态范围而不会使图象中的象素饱和。

在本发明的最佳实施例中，一个象素元件阵列装配在一个集成电路上。每个象素元件输出一个数字信号并且包括一个光电测器和一个模拟-数字转换器。光电探测器与模拟数字转换器集成为一体。

还提供一个阈存储器单元阵列，每个单元对应一个象素元件。阈存储器保证对应一具体阈存储器单元的象素不超过一阈值，从而不会为象素提供饱和信号。此外，阈存储器保证对应某个具体阈存储器单元的象素中的信号，只有当该信号超过该具体阈存储器单元中的值时才被读出给数据存储器单元。大体上，阈存储器避免向存储器单元读进不需要的值(下面将讨论)。

还提供时间存储器单元阵列，每个单元与一个象素元件连接，为多次取样中的每一次取样的每个象素建立不同曝光时间。

还提供存储器元件阵列，每个元件与一个象素连接。存储器元件也装配在集成电路中。当对应的一个阈存储器单元中的内容允许时，存储器元件接收来自对应一个象素的值。这样，为一个被记录的目标进行多次取样从而扩大光电探测器的动态范围。

将光电探测器和实现这一机理的存储器集成在同一集成电路中避免了如果使用一个外部存储器将经历的等待时间。

附图说明

图1A是实现本发明的CMOS图象传感器或感光薄片的简图；

图1B是模拟作电流源和电容器的光敏二极管的简图；

图2是美国专利号5，461,425描述的一数字象素传感器的结构简图；

图3是一个根据本发明的包括阈存储器、时间索引存储器和分开的数据存储器的图象传感器的方框图，这里将每个存储器和数字象素传感器集合在同一传感器中；

图4是多次曝光示例的曲线图；

图5A是根据本发明的一对示范的阈存储器单元、时间索引存储器单元和相应数据存储器单元的方框图；以及

图5B和5C分别表示根据本发明的两个相应时间积分过程的曲线。

具体实施方式

在本发明的下面的详细描述中，阐明一些细节是为了能够完全理解本发明的优选实施例。但是，对于本领域普通技术人员来说，显然可以根据不采用这里阐述的细节的实施例来实施本发明。为了避免对本发明的不必要的遮掩，不再详细描述已知方法、程序、组成和电路。

在下面的讨论中，几幅图中相同附图标记代表相同部件。

图1A表示可以实施本发明的一个图象传感器或感光片100。为了静态和影象摄影，图象传感器100可以用在图象捕获装置(例如数字相机)里，并且产生数字图象数据。通常装配在类似CMOS的基片上的感光片100包括若干布置成阵列的光电探测器。为了彩色用途，与每个光电探测器配准叠加选择性的透射的滤光器的拼组，以便形成第一、第二和第三可选择的光电探测器组106、108和110来分别感应三种不同颜色范围，比如可见光谱的红色、绿色和蓝色范围。通常感光片100中的光电探测器数量决定从中得到的数字图象的分辨率。水平方向的分辨率是行102中的光电探测器数量的函数，垂直方向上的分辨率是列104中的光电测器数量的函数。

每个光电探测器包括在曝光时能产生电信号的光传感器；通常，光传感器是CMOS传感器中的光电二极管或光电门(photogate)。图1B是表示设计为电流源122和电容124的光电二极管120。当复位信号加在复位端子130上时，电容124通过晶体管128被完全充电并接近Vcc，在该点光电二极管120准备进行光积分。

当复位信号下降(即电压值改变)时，光积分开始。随着越来越多的来自光126的入射光子撞在光电二极管120的表面，电流源122的电流增大。电容124开始通过电流源122放电。典型地，光电二极管为较高的光子强度收集更多光子。从而产生快速放电信号Vout。换句话说，来自Vout的信号与撞击光电二极管120的入射光子成比例。此外，该信号在这是指电信号或象素充电信号。任意地，可以用电路130将电信号Vout增加到一个要求值以便输出，也就是象素充电信号有效地耦合到下面的电路。

图象传感器的工作包括两个过程：

·如上所述的光积分过程；和

·读出过程。

这两个过程都持续在控制的时间间隔中。在光积分过程中，每个光电探测器开始积聚光的入射光子而且该积聚反映成为象素充电信号。光积分过程后，光电探测器开始读出过程，在该过程中每个光电探测器中的象素充电信号通过读取电路读给数据总线或视频总线。光进行积分的时间间隔被称作曝光控制或电子快门，并且它控制着由每个光电二极管积聚多少电荷。

图2复制了美国专利申请号5461425的附图1，并且表示出每个光探测器14不但包括光电传感器还包括A/D转换器。每个光电探测器被称作传感器象素或传感器元件或数字象素。做这个是为了表明这里的光电探测器包括模拟数字转换电路，它与传统图象传感器中常见的包括光电传感器并且产生模拟信号的光电探测器不同。此外，这里的象素元件与传统的图象传感器不同，因为它输出能够被高速读出的数字信号而不是可以在传统图象传感器上读出的模拟信号。因此，该合成的图象传感器被视为数字象素传感器(DPS)。本发明的优选实施例是基于这样一种结构：传感器元件包括光电传感器和模拟数字转换电路。

图2的图象传感器在单个集成电路芯片10上形成。图象传感器核心12包括二维光探测元件阵列。每个元件连接专用A/D转换器，该转换器输出代表光探测元件模拟输出的比特流。光探测元件和A/D转换器的组合组成单个象素元件14。每个象素元件14包括同样电路。将芯片10上的数字滤光器16连接起来接收来自每个象素元件14的数字流并且将每个数字流转换为8比特字节，该字节代表由各个象素元件14探测的256光强度级之一。

在操作中，图象会聚在图象传感器核心12上，因此会聚的图象不同部分撞击每个象素元件14上。每个光探测元件包括光电晶体管，它的传导率与撞击在光电晶体管基极上的光强度有关。这样通过光电晶体管的模拟电流相应撞击在光电晶体管上的光强度。将来自核心12中的所有光电晶体管的模拟信号同时转换为串行比特流，从用普通时钟驱动器18计时的专用A/D转换器输出。然后在一段时间内(即一帧的周期)的串行比特流可以由滤光器16(芯片内的或芯片外的)处理以导出表示撞击在光电晶体管上的光强度的信号。

每个时钟周期之后，1比特被闭锁在每个象素元件14里的每个A/D转换器的输出中。现在为了在每个时钟周期后将象素元件14产生的每个比特转换到滤光器16，用行解码器20将每行象素元件14顺次编址，直到象素元件14的所有行都被编址为止。在给每行编址时，被编址行中的每个象素元件14的1比特输出与相应的比特线22连接。滤光器16处理来自每个象素元件14的比特流，以对应于碰撞在该帧周期的各自象素元件14上的平均光强度在每个象素元件14上产生一个8比特值。然后用合适的多路器或移位寄存器将这些8比特值从芯片10输出，并临时储存在比特-映射存储器24中。然后存储器24可以作为帧缓冲器，在此，存储器24中的光强度值继续被编址用来控制监控器中的相应象素的光输出。

在图2的具体实施例中，假设用64个分开的滤光器16将64比特线22上的比特流输出转换为8比特值。(核心12的输出端的多路器可以减少需要的滤光器数量，比如减少到16个。)滤光器16和存储器24的首选交互作用如下。一行象素元件14被编址后，控制回路26立即用由行解码器20产生的编址获取为所编址行中每个象素元件14预先(或临时)储存在存储器24的8比特值，并且将该预先值加载到64个滤光器中适当的一个上，准备从该象素元件14接收新比特。这个过程可以用传统存储编址忮)技术和电路。然后将被编址的象素元件14中的各个A/D转换器的单个比特输出加在包含该象素元件14的预先8比特值的64个滤光器16的每一个上。然后每个滤光器16用新的单比特信息更新预先8比特值，以产生一个新的临时值。然后由每个滤光器16产生的刚被更新的8比特值在控制回路26的控制下传送回存储器24中。

参照图3，表示的是根据本发明一个实施例的基于数字象素传感器的图象传感器300。数字象素传感器302可以根据美国新专利号5,461,425或5,801,657实现，并且输出代表某一景物的一个或多个图象的数字信号。传感放大器和寄存器304与数字象素传感器302连接以促进读出来自数字象素传感器302的数字信号。与现有技术不同，根据本发明的图象传感器300，还包括用来存储阈值的存储器306(这里当作阈存储器)、用来存储时间索引值的存储器308(这里当作时间索引存储器)、和足够容纳来自传感器302的帧图象数据的数字或数据存储器310。

根据本发明的一个实施例假设传感器302是N×M象素并且有k比特。这样，阈存储器306的大小是N×M比特，时间索引存储器308的大小是N×M×m比特，这里m是时间分辨率。传感器302的当前最佳象素分辨率是每10比特为1000×1000。这样，阈存储器306是一个1兆比特存储器，当时间索引被设为T、2T、4T和8T(即2-比特分辨率)时，时间索引存储器308是2兆比特存储器，并且数字存储器306最好有至少1.2兆比特的大小。

上述存储器结构的结果是，传感器302中的每个象素元件可以被阈存储器306、时间索引存储器308和数据存储器310中的每个存储器单元标记。

操作时，在每个时间索引，比如，T、2T、4T和8T中，传感器302被曝光目标次数(例如4次)，在4个不同曝光时间里导致4幅图象。图4显示多次曝光的一个示例如图4所示，经过时间T后产生帧1，经过时间2T后产生帧2，经过时间4T后产生帧3，经过时间8T后产生，帧4。同一目标有多个图象的优点之一是能够扩展该被捕获图象的动态范围。由于曝光时间较短，帧1通常捕获与目标的高亮区相关的信息，同样地，由于曝光时间较长，帧4通常捕获与目标的低亮区相关的信息。因此帧2和帧3捕获与目标里逐渐增加的亮度区有关的信息。结果，多个图象的组合提供了非常宽的动态范围。

一般地，每一帧被读到存储器以便能够进行随后的组合帧的过程。图2阐明的构造表示图象数据通过若干条线(例如传感器10引线)被读到存储器24里。一旦给定曝光时间，产生的图象数据必须足够快地读出，以免影响随后的一帧。正如已知的，线的数量受限于实际打包问题并且常常远小于适合需要的速度所需要线数。因此，被限制的线数变成从传感器14向存储器24传递数据的瓶颈。

本发明的特征之一是在图象传感器中安放一个芯片内的存储器，如图3所示的数据存储器310。这样就不存在从传感器302向存储器310传递数据的瓶颈。在操作上，一个曝光时间之后，一帧数据可以立刻被读至存储器310。

根据本发明的一个方面，第一帧数据被读到存储器310后，第二帧数据可选择地被读到存储器310以改进、更新或增加其中包含的象素值。选择由相应的阈存储器306的内容控制。

图5A显示一对示范的阈存储器单元502和504、示范的时间索引存储器单元506和508、及示范的相应数据存储器单元510和512。在第一曝光时间T之后，如图5B所示，结果信号514超过一个预定阈值V1。这样，一个标记比如表示阈值V1已经被超过的二进位值“1”被存在单元502里，曝光时间T存在单元506里，而结果信号或它的代表(例如以8-比特精度的值240)存在单元510里。阈值V1通常这样确定：对能产生结果信号514的光电传感器的进一步曝光可以使光电传感器变饱和。因此，考虑到单元502中的标记，第一曝光时间T之后不需要提高储存在单元510中的值。实际上，单元510的进一步更新可能引起其中的数据损失，因为现在很清楚下一个值将是饱和值。

现在假设由邻近光电探测器产生的结果信号516低于阈值V1，如图5C所示。因此，单元504不存储标记“1”，假设当操作开始时单元504复位到“0”。这允许用新值更新或提高相应数据单元512，该新值是下一个曝光的结果。应当注意储存在单元502、504、506或508中的实际内容大大依赖于实现的偏好。

本发明的主要特点之一是在传感器302中的每个光电探测器上或存储器310中的每个数据单元上设置标志以防止任何饱和值改写存储器310中的有用信息。单独使用时间索引存储器中的内容以便正确再建最终图象。这允许存储器310中的内容在额外的曝光时间后被适当地更新，或允许帧数据被适当地组合。

图象传感器300提供的优点和好处有许多：

优点之一是消除了出现在美国专利号US5461425结构中的数据传递瓶颈。

第二，芯片内的存储器310与数字象素传感器302的集成不影响数字象素传感器302的性能，反而能充分提高图象传感器300的整体性能。这种提高包括当从数字象素传感器302读出数字信号时匹配的带宽。

第三，用阈存储器防止向数据存储器读不需要的值。

另外，用时间索引存储器为恰当组合帧数据提供协助(有利的)信息，以产生一个有扩大的动态范围最终数字图象。

根据本发明的一个实施例，结构200最好在CMOS图象传感器中实施。结果图象传感器可以优先用于可提供相对胶卷图象质量有上好或可比的图象质量的数字照相机。

虽然这里参考优选实施例描述了本发明，但是本领域的技术人员可以理解，代替记载在此的其他应用将不背离本发明的精神和范围。

相应的，本发明仅被下面的权利要求限制。

Claims (11)

1.一种CMOS图象传感器，包括：

传感器阵列，包括二维象素元件阵列，所述传感器阵列的每个象素元件包括光电探测器和A/D转换器，该光电探测器用于探测入射光强度，该A/D转换器用于将探测到的光强度转换为数字信号，并且所述传感器阵列的每个象素元件输出代表某一景物的图象的数字信号作为象素数据，该数字信号是表示每个象素元件所探测到的光强度的串行比特流，并且所述传感器阵列产生多组象素数据，表示在多个曝光时间的所述图象的多个代表值：

数据存储器，与所述传感器阵列连接，用来存储每个象素元件的象素数据，其中所述每个象素元件的象素数据与在所述多个曝光时间之一拍摄的所述图象的代表值相关联；

阈存储器，与所述传感器阵列连接，用来存储每个象素元件的阈值标记，当与象素元件相关联的象素数据超过预定阈值时，所述阈值标记具有一第一值，并且当所述象素数据不超过所述预定阈值时，所述阈值标记具有一第二值，其中所述阈值标记一旦在所述多个曝光时间之一被设置为所述第一值，则在所述多个曝光时间中的剩余曝光时间期间保持所述第一值；和

时间索引存储器，与所述传感器阵列连接，用来为所述传感器阵列中的每个象素元件存储时间索引值，所述时间索引值表示当相应的象素元件的象素数据超过所述预定阈值时所述多个曝光时间中的相应的一个曝光时间，

其中，当与相应的象素元件相关联的所述阈存储器中的阈值标记具有所述第二值时，所述数据存储器为与多个曝光时间中的每个曝光时间拍摄的所述图像的代表值相关联的每个象素元件存储象素数据；

其中，所述传感器阵列、所述数据存储器、所述阈存储器和所述时间索引存储器装配在集成电路上。

2.根据权利要求1所述的CMOS图象传感器，其中所述传感器阵列具有N×M象素并有k比特，N、M和k是大于零的整数。

3.根据权利要求2所述的CMOS图象传感器，其中所述阈存储器是N×M比特。

4.根据权利要求1所述的CMOS图象传感器，其中所述时间索引存储器是N×M×m比特，这里m是时间分辨率，N、M和m是大于零的整数。

5.根据权利要求1所述的CMOS图象传感器，其中所述传感器阵列中的每个象素被所述阈存储器、所述时间索引存储器、和所述数据存储器中的每个存储单元标记。

6.根据权利要求1所述的CMOS图象传感器，其中在每个所述时间索引中，所述传感器阵列被曝光目标次数，在一组不同曝光时间下产生一组图象。

7.根据权利要求6所述的CMOS图象传感器，其中一组不同曝光时间包括下面任何时间：捕获与目标中的高亮区相关的信息的较短曝光时间，捕获与目标中的低亮区相关的信息的较长曝光时间，和捕获与目标中的逐渐增加亮度区相关的信息的中间曝光时间；

其中，所述多个图象的组合为所述传感器阵列建立一个宽动态范围。

8.根据权利要求1所述的CMOS图象传感器，其中多个代表值的每一个被读到所述数据存储器为随后的处理组合所述多个代表值。

9.根据权利要求1所述的图象传感器，其中第一帧数据被读到所述数据存储器后，第二帧数据被选择地读到所述存储器以改进、更新或增加其中包含的象素值。

10.根据权利要求9所述的CMOS图象传感器，其中所述选择性的读出由相应阈存储器的内容控制。

11.如权利要求1所述的CMOS图象传感器，其中，采集所述景物的一个或多个图象的多个代表值并且作为所述数据存储器中的所述值有选择地被存储，以扩大所述传感器阵列的动态范围，所述图象传感器还包括：

时间索引存储器，与所述传感器阵列连接，用来为所述某一景物的一个或多个图象的所述多个代表值中的每一个存储不同时间索引值，所述时间索引存储器为正确组合帧数据提供协助信息以产生一个有扩大的动态范围的最终数字图象。

Images