CN101669204A

CN101669204A - 数字照相机的基于传感器的γ校正

Info

Publication number: CN101669204A
Application number: CN200880005312A
Authority: CN
Inventors: 大卫·W·加德纳
Original assignee: Flir Systems Inc
Current assignee: Photon Dynamics Inc; Teledyne Flir LLC
Priority date: 2007-02-16
Filing date: 2008-02-12
Publication date: 2010-03-10
Also published as: EP2111639A2; WO2008100899A3; EP2111639A4; WO2008100899A2; US7796171B2; US20080198246A1

Abstract

在不同的累积周期内为图像传感器的抗晕结构提供变化的电压，以使得响应于较低级光产生的电荷被完全捕获，而响应于较亮的光生成的电荷以受控的方式溢出。因此，可以产生传感器的响应，从而在较低光级处实现更高的增益，在更高的光级处实现渐进更低的增益。

Description

数字照相机的基于传感器的γ校正

发明背景

本发明一般涉及利用成像传感器的成像系统，更具体地涉及这样的成像系统，其具有周期性地重设照相位置的能力并在相同场景内要求较宽的动态范围的能力。应用的领域可以覆盖较宽范围的领域，包括但不限于使用成像的检查和测试、数字X射线系统、监控成像应用、胶片扫描、夜视以及汽车应用。

通过照相机观察的典型场景可具有跨越图像的较宽范围的照明条件。也就是说，该场景可能具有需要分辨的光照较暗区域中的细节，同时需要分辨该场景的非常亮的区域，而并不使图像传感器和照相机系统饱和。传统的基于胶片的照相机由于胶片乳胶的非线性响应，因而能够同时对场景的光照较暗区域以及该场景的光照较亮区域中的细节进行分辨。然而，数字照相机具有对光的高度线性响应。这既是有利的又是不利的。在科学成像应用中，常常需要数字照相机的线性响应，这是因为后处理算法假定了对光的线性响应，但是在具有光照非常暗和光照非常亮的区域的场景中的信息范围可能会超过图像传感器芯片本身的线性范围，或者会超过用来将该信息转换为计算机可读信息的模拟数字转换器(A/D)的线性范围。如果降低传感器的增益以避免高亮度区域中的饱和，则光照较暗区域中的细节会丢失。相反，如果增加增益以捕获光照较暗区域中的细节，则图像的较亮区域将会饱和，并丢失图像内容。

为了获得与诸如基于胶片的照相机的非线性成像装置类似的性能，数字成像装置的线性性质因而必须被转换为非线性性质。能够校正数字装置线性性质的转换曲线或传递函数接近遵循指数函数。成像工业已经用符号γ来表示该指数值，因此，该转换曲线通常称为“γ校正”。

通常，通过在捕获图像后对其进行后处理而得到改进的图像显示。后处理方法通常增加较暗区域(较暗的光照)中的增益并降低较亮区域中的增益，同时在这两个极端之间的区域中应用中等增益。一个公知的方法是在A/D转换器将模拟数据转换为数字数据之后使用软件γ校正。虽然这在较低光级增加了所显示图像的增益，但也降低了在较低光级的信噪比。因为照度更高处的散粒噪声导致了更不可用的非常小的灰度级分辨率，因此该方法压缩了较亮光级并损失了信息。例如，采用该方法，具有12位A/D转换器和12位传感器的成像系统可能实际上只产生10位有用的数据。

在第二种公知的方法中，在A/D转换器之前包括自动增益控制(AGC)电路。虽然该方法对于较亮场景和较暗场景之间的转换是有用的，但它不能有效地处理同时具有较亮和较暗区域的场景。

第三种方法处理对于对数响应的像素输出。虽然这扩大了动态范围，但响应曲线中的任何特定点处的信噪比(SNR)水平都保持受限，这是因为在每个光级捕获的光子数量基本不变。SNR的提高需要增加捕获光子的数量。此外，因为该方法需要基于像素至像素的调整，因此，由于像素至像素的非线性，可能会出现不期望的伪像。更具体地，由于装置制造的变化(例如，注入物变化、氧化物厚度变化、偏置线路电阻变化等)和/或由于非线性区域中像素晶体管的操作，上述非线性由像素至像素发生变化。

第四种方法首先采用较短的累积时间捕获图像，并采用相对更长的累积时间捕获第二图像。这两个图像然后通过软件的帮助累积相结合，该软件从采用较短的累积图像获得的图像获得较亮数据，并采用相对更长的累积图像获得较暗数据。该方法应用更长时间来捕获图像，并且有效地累积结合这两个图像的程序较难并容易出错。

图1A示出了典型CCD 100的两个像素10和12。每个像素均为金属氧化物半导体(MOS)结构，该结构部分地包括传导性的掺杂多晶硅层116，多晶硅层116在硅衬底118上形成并通过诸如二氧化硅的绝缘材料114与该衬底分开。当对绝缘材料114上沉积的电极124施加电压106时，形成了存储区或势阱108(以使用水模拟)。当光撞击CCD像素(传感器)时，冲击光子产生了电子-空穴对，并且所产生的电子112存储在阱108中。在电极124下电子112被限制在具有势垒高度120的势阱108内。在图1A的示例中，示出的像素10和12暴露于相同的光密度。

参照图1B，示出的像素10暴露于比像素12相对更亮的光。因此，在阱108填充满电子之后，过量的电子132开始溢出到相邻的、像素12的阱134中。过量电子的溢出导致图像中的白条纹，并称为晕。

图1C示出了如现有技术所公知的具有抗晕漏极152的像素150，其适于减少与图1A的像素10和12关联的溢出问题。抗晕漏极152用来形成阱110，阱110的深度122(势垒高度)通过施加至漏极152的电压102来控制。阱108的顶部154通过施加至栅极126的电压104来限定，栅极126设置在像素电极124和抗晕漏极152之间。在正常操作中，抗晕阱110捕获过量的电子132，从而抑制了过量的电子132溢出至相邻的像素。施加至抗晕漏极的电压102典型地设置为使像素充满电荷的值。

发明内容

根据本发明，可定制且用户可限定的电压-时间曲线(即，时变电压)被应用到图像传感器的抗晕结构。该电压-时间曲线限定了多个电荷累积周期，在每个累积周期内将不同的电压施加到该抗晕结构上。响应于较低级光产生的电荷被完全捕获，而响应于相对更高级别的光生成的电荷以受控的方式溢出。所产生的对不同级的光的像素响应等同于γ校正行为。因此，图像传感器的响应在较低光级处导致了更高的增益，在更高的光级处导致了渐进更低的增益。因此，获得了更宽的有效动态范围。

附图说明

图1A为示出了如现有技术中所公知的电荷耦合装置(CCD)的一对像素的剖视图；

图1B示出了如现有技术中所公知的当图1A的像素之一比另一个更亮地照射时该对像素的势阱的变化；

图1C为示出了如现有技术中所公知的具有抗晕漏极的CCD像素的剖视图；

图2A示出了暴露于不同光级的多个像素；

图2B示出了根据本发明的一个实施方案、与图2A的像素关联的示例性势垒高度以及累积的电荷；

图3示出了施加至图2A示出的像素的抗晕漏极端子的电压的时间依赖性；以及

图4部分地示出了根据本发明的一个示例性实施方案、由应用几个电压-时间曲线产生的图像传感器的响应。

具体实施方式

根据本发明的一个实施方案，可定制且用户可限定的电压-时间曲线被应用到图像传感器的抗晕结构，且所产生的对不同亮度级的像素响应等同于γ校正行为。更具体地，本发明利用了具有抗晕漏极以及专用同步电路的图像传感器的能力的优势，从而在亮度级别已超过可限定的阈值时去除像素处的过量电荷。具体地，通过在光累积的过程中改变抗晕漏极上的电压，使得响应于较低级的光所生成的像素电荷被完全捕获，而响应于较亮的光所生成的像素电荷以受控的方式溢出。因此，获得了更宽的有效动态范围。

参照具有基于图像传感器的电荷耦合装置(CCD)的成像系统提供以下描述。然而，应该理解，本发明同样适用于任意的图像传感器，诸如电子倍增CCD(“EMCCD”)、CMOS以及具有抗晕结构的其他线性传感器和二维传感器。此外，抗晕结构可采取横向或竖直溢出漏极的形式。

图2A示出了具有各自的抗晕漏极252、262和264的三个像素250、260和270。假定像素250暴露于较高级的、非常亮的光。假定像素260暴露于中等级别的光，且假定像素270暴露于较低级的、相对较暗的光。根据本发明，将电压-时间曲线施加到传感器的抗晕电极，以产生像素响应，该像素响应覆盖了跨越像素250、260和270所暴露的三种光强的较宽强度范围。具体地，该响应在较低光级处产生较高增益，在中等光级处产生中等增益，且在较高光级处产生较低增益。

参照以下实施例描述本发明。假定施加至抗晕漏极252、262和272的电压被选取为使得当与这些抗晕漏极关联的像素多于例如其全部容量的1/4时，电荷溢出到这些抗晕漏极中。成像器累积光的时间为t₁。如图2B所示，像素250在时间周期t₁₂的末端达到1/4全容量级208，像素260在时间t₁₄的末端达到该1/4全容量级208。因此，对于像素250和260，过量的电荷在时间周期t₁₂和t₁₄的末端开始溢出到其各自的抗晕漏极中。然而，诸如像素270的光照较暗的像素继续收集电荷228，到t₁的末端为止都没有任何的溢出效果。

对于继续累积时间的下一时间周期t₂，抗晕电压被选取为使得当与这些抗晕漏极关联的像素多于例如其全容量的1/2时，电荷溢出到这些抗晕漏极中。如图所示，在该周期内，像素250在时间t₂₃达到其1/2全容量224，因此，电荷从像素250溢出到其关联的抗晕漏极中。在时间周期t₂的末端，像素260和270达到最大级228和230，最大级228和230都小于1/2全容量。因此，没有电荷从像素260和270溢出到其各自的抗晕漏极中。对于继续累积时间的最后示出的周期t₃，抗晕电极电压被选取为使得当与这些抗晕漏极关联的像素达到全容量220时，电荷溢出到抗晕漏极中。如图2B所示，在时间周期t₃内，像素250、260和270都没有溢出。

图3示出了施加至抗晕漏极252、262和272的端子的示例性电压图。对于周期(t₁-0)，抗晕漏极电压被设置为建立1/4全阱容量所需的电压302。在时间t₁和(t₁+t₂)之间，抗晕漏极电压被设置为建立1/2全阱容量所需的电压304。在时间(t₁+t₂)和(t₁+t₂+t₃)之间，抗晕漏极电压被设置为建立全阱容量所需的电压306。在图3中，施加的电压越高，导致全阱设置越低。

参照图2和图3，虽然在三个时间周期上执行了电荷累积，但是应该理解，电荷累积可以在任何数量的时间周期N上执行，其中N是大于1的整数。此外，每个周期的持续时间也可以由用户选取。例如，第二累积时间(t₂-t₁)可以被选取为具有最短的持续时间，而例如，第五累积时间(t₅-t₄)(未示出)可以被选取为具有最长的持续时间。在一个实施方案中，累积周期中的某些可以相等。此外，用户可选择为，在一个累积周期内施加到抗晕漏极的电压级可以等于全阱电压的任意比例。因此，任何形状的电压-时间曲线都可以被限定、产生并应用，从而生成被有效地γ校正的像素响应。用户可限定的电压-时间曲线的非线性增益要求该曲线的所有部分都具有正斜率。这通常是成像应用中所需要的，因为其对应于人眼的响应，并且还利用了散粒噪声随更高的光级增加为光级本身的平方根的事实。正斜率还意味着在较低光级处可产生更高的增益，在更高的光级处可产生渐进更低的增益。此外，根据具体应用，多个电压-时间校正曲线可以被生成并根据需要来使用。此外，根据本发明，因为只要用户可限定的电压时间曲线的所有部分都具有正斜率，该曲线就可以采取任意形状，因此，传感器响应可以不必为严格的指数形式(如通常由应用传统的后处理校正而产生的那样)。

图4示出了一对采用传统校正方法产生的光响应曲线402和406(由虚线表示)，以及根据本发明产生的光响应曲线404(由实线表示)。光响应曲线402表示应用传统校正以增强低亮度处信噪比的传感器的典型响应。在这种情况下，对非常亮的光的响应导致了饱和的像素，这将不能与场景中其他略微更亮或更暗的像素区分。可选地，如曲线406所示，如果应用增益校正以保持对传感器和A/D转换器范围内非常亮的光的像素响应，则减少了光照较暗区域中的细节。根据本发明产生的响应曲线404，其中用户可限定的电压-时间曲线被应用至传感器的抗晕漏极，较亮区域410能够相互区分，同时与较暗区域408关联的信号足够高，以保持所期望的细节

本发明同样可用于彩色图像。通常，彩色图像通过进行连续的曝光而形成，每次曝光均利用不同的光学滤波器(红色、绿色、蓝色)。胶片乳胶中的响应对于该三种颜色中的每一种都不同。因此，每种颜色均需要专门定制的γ校正。根据本发明，可通过对每种颜色限定用户可限定的电压-时间曲线，使得对每种颜色均可优化γ校正的响应，然后在红色、绿色、蓝色捕获序列期间，将上述用户可限定的电压-时间曲线按顺序应用至传感器的抗晕电极。在具有片上滤色器(例如，拜耳模式滤波器)的单片彩色照相机的情况下，非线性响应允许捕获没有饱和的亮色，同时仍然保持较暗区域中的信号完整性。由于多数自然光源的色温以及硅在更长的波长中的更高的量子效率(对于基于硅的检测器的情况)，红色图像数据通常比蓝色数据亮得多。

通过在捕获光子时应用非线性传递函数，本发明获得了比以其他方式通过硬件提供的有效动态范围更宽的有效动态范围。更具体地，因为根据本发明，数据在更高的照度级上压缩，因而更大的输入数据范围适于在硬件A/D转换器范围内。压缩通常不会导致数据完整性的损失，这是因为在更高的照度级处，散粒噪声更高，因此灰度级量子化的粒度可以更低。

例如，假定较低的光级可以进行数字化，以使得例如20个电子(约为照相机系统在黑暗中的噪声基底)表示一个A/D计数。然而，假定该照相机具有200,000个电子的全阱大小，则当该照相机像素在较高光级(接近全标度)操作时，噪声基底将约为[200,000]^1/2或447个电子。这意味着在更高光级，一个A/D计数可等于大约400个电子，这为灰度级量子化的、与相对更低的光级处相比更低的粒度。更低的粒度意味着灰度级对于更多数据的可用性。根据本发明，当光级从低到高移动时增益发生改变，因此得到了更宽的有效动态范围。例如，通过12位A/D转换器获得了16,000∶1动态范围的压缩，而该压缩通常需要14位A/D转换器.

本发明适用于成像系统，诸如要求在相同场景内的较宽动态范围的数字照相机。该场景内动态范围被扩大而无需对像素构造或A/D转换器进行任何改变。本发明不需要任何后处理软件。此外，用户可限定的电压-时间曲线的各个段产生了单个合成图像，而无需将多个图像结合到一起以形成合成图像。图像在一个累积时间内被捕获，从而使帧率最大化。本发明可应用于使用成像的检查和测试系统。其还可以应用于数字X射线系统、监控成像应用、胶片扫描系统、夜视系统以及汽车应用等。

本发明的以上实施方案为说明性的而非限制性的。各种替代和等同方式都是可能的。本发明不受图像传感器或成像装置类型的限制。本发明不受累积周期数量的限制。本发明也不受每个累积周期的任何次序或持续时间的限制。本发明不受形成应用到抗晕漏极上的电压-时间曲线的电压或次数的任何具体值的限制。根据本发明，其它的增加、减少或替代是显而易见的并且旨在落在所附权利要求的范围之内。

Claims

1.一种在成像装置中调用响应的方法，在所述成像装置中设置有传感器，所述方法包括：

将用户限定的时变电压施加至所述传感器的抗晕电极，从而限定多个电荷累积周期；

将设置在所述传感器中的多个像素中的每个不同的像素均暴露于多个光级中的一个不同光级；以及

在所述多个累积周期的每个周期中累积电荷，从而使所述成像装置调用非线性响应，以修改由所述成像装置捕获的图像。

2.一种在成像装置中调用响应的方法，用于修改由所述成像装置捕获的图像，所述方法包括：

在第一时间周期内将第一电压施加至设置在所述成像装置中的抗晕漏极端子；

在第二时间周期内将第二电压施加至所述抗晕漏极端子；

在所述第一和第二时间周期内将第一像素暴露于第一光级；

在所述第一和第二时间周期内将第二像素暴露于第二光级，所述第二光级大于所述第一光级；

累积在所述第一和第二时间周期内生成的电荷；以及

使所述成像装置根据所累积的电荷调用响应。

3.如权利要求2所述的方法，进一步包括：

在第三时间周期内将第三电压施加至所述抗晕漏极端子；

在所述第一、第二和第三时间周期内将第三像素暴露于第三光级，所述第三光级周期大于所述第二光级；

累积在所述第三时间周期内生成的电荷；以及

使所述成像装置根据所累积的电荷来调用所述响应。

4.如权利要求3所述的方法，其中，所述第一时间周期长于所述第二时间周期。

5.如权利要求4所述的方法，其中，所述第三时间周期长于所述第二时间周期。

6.如权利要求3所述的方法，其中，所述第一时间周期短于所述第二时间周期。

7.如权利要求6所述的方法，其中，所述第三时间周期短于所述第二时间周期

8.如权利要求3所述的方法，其中，所述第一电压大于所述第二电压。

9.如权利要求3所述的方法，其中，所述第二电压小于所述第三电压。

10.如权利要求9所述的方法，其中，所述第二电压小于所述第三电压。

11.如权利要求4所述的方法，其中，所述第一电压被选取为使得在所述第一时间周期终止时阻止由所述第一像素产生的电荷溢出。

12.如权利要求11所述的方法，其中，所述第一电压被选取为使得在所述第一时间周期终止时由所述第二和第三像素产生的电荷能够溢出。

13.如权利要求12所述的方法，其中，所述第二电压被选取为使得在所述第二时间周期终止时阻止由所述第一和第二像素产生的电荷溢出。

14.如权利要求13所述的方法，其中，所述第二电压被选取为使得在所述第二时间周期终止时由所述第三像素产生的电荷能够溢出。

15.如权利要求14所述的方法，其中，所述第三电压被选取为使得在所述第三时间周期终止时阻止由所述第一、第二和第三像素产生的电荷溢出。

16.如权利要求2所述的方法，其中，所述成像装置设置在数字X射线系统中。

17.如权利要求2所述的方法，其中，所述成像装置设置在监控系统中。

18.如权利要求2所述的方法，其中，所述成像装置设置在胶片扫描系统中。

19.如权利要求2所述的方法，其中，所述成像装置设置在夜视系统中。