CN101027912B - 扩展有效动态范围的图像传感器及图像捕捉系统 - Google Patents

Abstract

一种图像传感器生成对图像光具有不同响应的图像信号。该图像传感器具有感光点阵列，这些感光点分为标准感光点和非标准感光点。限制器为所述标准感光点提供对曝光量的预定标准响应并且为非标准感光点提供对同样的曝光量的预定较慢响应。标准感光点和非标准感光点都按照预定的图形对所述阵列进行稀疏采样。

Description

扩展有效动态范围的图像传感器及图像捕捉系统

技术领域

本发明总地来说涉及图像捕获领域，并且更加具体地讲，涉及扩展图像感测装置的有效动态范围的方法。

背景技术

图像感测装置(比如电荷耦合装置(CCD))一般可以在诸如数码相机、扫描仪和摄像机这样的产品中找到。这些图像感测装置在与传统的底片产品相比时具有非常有限的动态范围。典型的图像感测装置具有大约5挡的动态范围。这意味着，必须要以相当苛刻的精度度确定针对典型景物的曝光量，才能避免截削信号。此外，由于会有多个发光体(例如，景物中的正面受光和背面受光部分)，景物经常具有非常大的动态范围。在景物动态范围很大的情况下，针对对象选择合适的曝光量通常必然会截削图像另一部分中的数据。这样，图像感测装置相对于卤化银媒质而言较差的动态范围会导致由图像感测装置获得的图像的图像质量较低。

增加图像感测装置的动态范围会使得来自数码相机的图像能够得到再平衡，以实现图像的更加令人愉悦的重显结果。而且，增加图像感测装置的动态范围能够为图像实现更加令人愉悦的对比度提高，比如在Lee等人共同拥有的美国专利US5012333中介绍的那样。

美国专利US6040858(Ikeda)给出了图像感测装置的动态范围有限的问题的完整介绍。此外，Ikeda介绍了通过利用多个各自对曝光量有不同响应的图像信号扩展图像感测装置的动态范围的方法。通过使用阈值(这些阈值确定哪些信号具有较高质量)将这些多个信号是合成在图像信号中的各个位置上，以形成具有得到扩展的动态范围的图像信号。Ikeda通过介绍一种针对各个颜色确定这些阈值的方法对这些方法进行了改进。

不过，这些现有的方法(包括Ikeda的方法)需要大量图像信号来形成具有得到扩展的动态范围的图像。获取这样大量的信号会造成一定困难。例如，如果所述大量图像信号不是同时捕获的，在景物中运动的对象或者相机的运动可能会在具有得到扩展的动态范围的图像中产生虚影。此外，如果图像信号是同时捕获的但是是在不同图像捕获装置上捕获的，那么会有对应关系问题。而且，额外的硬件为成像系统增加了不希望有的成本。

Cornuejols的美国专利US5051770公开了一种装置，其中有一个平面屏幕一个像素一个像素地修正由传感器接收的光。

美国专利申请公开文本US2003/0052976介绍了一种具有由驱动电压控制的灵敏度不同的感光点(photosite)的照相装置。可以为这些感光点赋予不同的曝光时间。

这样，目前存在着对改善现有方法来提高图像感测装置的动态范围的需求。具体来说，存在着利用单独一个图像感测装置和单独一个图像信号产生动态范围得到扩展的图像信号的需求。

发明内容

本发明由权利要求定义。本发明致力于克服前面提出的一个或多个问题。简要概括来讲，按照本发明的一个方面，一种图像传感器生成对图像光具有不同响应的图像信号。该图像传感器具有感光点阵列，这些感光点分为标准感光点和非标准感光点。限制器为所述标准感光点提供对曝光量的预定标准响应并且为非标准感光点提供对同样的曝光量的预定较慢响应。标准感光点和非标准感光点都按照预定的图形对所述阵列进行稀疏采样。所述图像传感器还包括放在感光点上面的由多种颜色构成的彩色滤光片阵列，所述标准感光点与所述彩色滤光片阵列的各种颜色相关联，所述非标准感光点与所述彩色滤光片阵列的不到全部颜色相关联。

在本发明中，将图像捕获装置中的选定感光点设计成对曝光量有非标准响应。这些非标准感光点总地来说对曝光量有比非选定的或标准的感光点慢的响应。本发明的优点在于，对来自这一图像捕获装置的图像信号进行处理，以利用所有感光点的动态范围。这样，通过为饱和的或者处于噪声电平上的那些感光点内插相邻感光点的值，产生了动态范围得到增大的图像信号。

附图说明

通过与附图结合起来参照下面的本发明实施方式的介绍，本发明的前面提到的和其它的特征和目的以及实现他们的方式将会变得更加显而易见并且本发明本身将会得到更好的理解，其中：

附图1是按照本发明的范围得到扩展的图像感测装置的框图。

附图2是图解说明标准感光点和非标准感光点的响应的曲线图。

附图3A图解说明非标准感光点和标准感光点针对图像传感器的全色实施方式的排列方式。

附图3B图解说明非标准感光点和标准感光点针对彩色图像传感器的实施方式的排列方式。

附图4表示附图1中所示的动态范围扩展滤光片阵列(DREFA)处理器的分解框图。

附图5是采用微透镜阵列来更改选定感光点的响应的行间图像传感器的横截面。

附图6是采用金属掩模来更改选定感光点的响应的整帧图像传感器的横截面。

附图7是采用中性密度滤光片来更改选定感光点的响应的图像传感器的横截面。

附图8是图像捕获系统的实施方式的框图。

附图9A-9C图解说明图像传感器的三种不同实施方式中的非标准感光点和标准感光点的排列方式。

附图10图解说明非标准感光点和标准感光点针对彩色图像传感器的另一种实施方式的排列方式。

附图11图解说明与附图10相同的实施方式并且示出了具有4×4重复单元的8×8阵列。

附图12图解说明具有8×8重复单元的彩色图像传感器的另一种实施方式的8×8阵列。

附图13图解说明与附图10相同的实施方式并且示出了具有4×4重复单元的16×16阵列。

附图14图解说明具有16×16重复单元的彩色图像传感器的另一种实施方式。

附图15图解说明可以用在彩色图像传感器的另一种实施方式中的现有装置的组成部分的线路图。

具体实施方式

因为采用电子传感器的成像装置是公知的，因此本说明书将会专门针对形成按照本发明的设备的部分的单元或者比较直接地与按照本发的设备协同工作的单元。本文没有具体示出或介绍的单元可以从本领域中公知的单元中选取。注意，按照本文中的用法，术语“图像”是数值的二维阵列。图像可以是另一个图像的二维子集。

参照附图1，使从对象或景物射来的光线入射到镜头2上。光学低通滤波器6对图像进行轻微模糊，以便减少混叠现象的出现。图像落在图像感测装置10上，比如电荷耦合装置(CCD)。注意，也可以使用其它装置(比如CMOS装置)作为图像感测装置10。

A/D转换器14将来自图像感测装置10的图像信号转换成数字信号。更加具体地讲，A/D转换器14将来自图像感测装置10的线性电压信号转换成离散数字信号，最好是10位信号。这样，线性编码值的范围是从0到1023。A/D转换器14最好还进行将线性10位信号转换成8位对数信号的处理，如本领域中通常执行的那样。下面的等式用于将10位线性信号a(x，y)转换成8为对数信号b(x，y)，其中(x，y)以图像传感器10为基准规定信号位置的行和列系数：

b(x，y)：

$b(x,y)=\left\{\begin{array}{cc}0& 0\≤a(x,y)\≤31\\ 73.5975\ln a(x,y)-255& 32\≤a(x,y)\≤1024\end{array}\right.$

注意，(图像感测装置的线性相应区域中的)各档曝光会导致线性信号a(x，y)加倍并且导致对数编码信号b(x，y)增大51。在这种情况下，数值51代表每档曝光量(cvs)的代码值的数量。

系统控制器18根据用户输入或者根据从A/D转换器14输出的图像信号来判断是需要对动态范围进行扩展(即，采用处理的“扩展模式”)还是没有必要进行扩展(即，处理的“普通模式”)。然后，如果系统控制器18处于扩展模式，则系统控制器18将数字图像信号b(x，y)转移到动态范围扩展滤波器阵列(DREFA)处理器22，或者，如果系统控制器18处于普通模式，则系统控制器18将数字图像信号b(x，y)转移到颜色滤波器阵列(CFA)内插器26。按照另外一种可选方案，可以在制造的时候将系统控制器18设定为总是处于“扩展模式”。

在“普通模式”下，系统控制器18将从A/D转换器14输出的图像信号转移到CFA内插器26。CFA内插器26的用途是为数字图像的各个位置产生颜色的完整描述。在优选实施方式中，图像感测装置10由光敏元件阵列构成。各个感光点典型地用红色、绿色或蓝色滤光片覆盖，在Bayer共同拥有的美国专利US3971065中介绍了这种方案，该美国专利以引用的方式并入本文。Bayer阵列是彩色滤光片阵列，其中绿色滤光片位于感光点上方的挡板图案内，而红色和蓝色滤光片一行一行地交替填充挡板图案的空隙；这产生了为红色或蓝色滤光片点两倍的绿色滤光片点。注意，可以容易地将本文介绍的方法扩展到具有不同原色排列方式、不同颜色数量或者不同原色组的彩色滤光片阵列。这样，在优选实施方式中，各个感光点对红色、绿色或蓝色光敏感。不过，希望的是获得各个感光点位置上的各个红色、绿色和蓝色曝光的曝光量值。在本说明书中，“红色”、“绿色”和“蓝色”代表图像感测装置10的原色，这在图像处理领域中是公知的。CFA内插器26由从A/D转换器14输出的图像信号产生由对于光敏元件的各个原色的值构成的内插后图像信号。例如，如果某一感光点由红色滤光片覆盖，则A/D转换器14输出对于该感光点的红色曝光等级，因为红色滤光片基本上阻挡住了到达图像感测装置10的绿色和蓝色光。

CFA内插器26的操作是为绿色和蓝色原色确定对于红色感光点的曝光等级。类似地，CFA内插器26为蓝色感光点确定绿色和红色曝光等级，并且为绿色感光点确定红色和蓝色曝光等级。总地来说，CFA内插器26通过考虑感光点的曝光量值和周围感光点的值来进行工作。虽然可以使用任何一种公知的内插器，但是在名称为《Adaptive colorplane interpolation in single sensor color electronic camera》的共同拥有的美国专利US5652621中包含有优选CFA内插器的介绍，该美国专利以引用的方式并入本文。这个专利介绍了用于处理从产生至少三种独立的颜色值(但是各个感光点位置仅仅对应一个颜色值)的具有按照行和列对齐的彩色感光点的图像传感器获得的数字化图像信号的设备，和为各个感光点位置内插颜色值从而使其具有三个不同的颜色值的结构。这种设备由附近感光点位置上的与缺失颜色值不同的颜色的颜色值，通过对于这些感光点进行额外颜色值的内插，来产生感光点位置缺失的适当颜色值。该设备还由相同列和行的附近感光点获得至少两个图像方向上的拉普拉斯算子二阶值、梯度值和色差偏置值，并且根据从这些值导出的分级符为内插缺失颜色值选择优选取向。最后，从附近众多颜色值中选择与优选取向相符的缺失颜色值。

在“扩展模式”下，系统控制器18将从A/D转换器14输出的图像信号转移到DREFA处理器22，以便扩展图像信号的动态范围。在优选实施方式中，通过将图像感测装置10的某些感光点选择成具有非标准响应，来扩展图像感测装置10的动态范围。下面将更加详细地讨论所选择的感光点相对于图像感测装置10的排列方案。在优选实施方式中，通过更改所选择的感光点的增益来减慢所选择的感光点(这里称为非标准感光点)的响应。更改感光点的增益是数码相机设计和制造领域中常常实施的手段。

参照附图5，这是在图像传感器制造领域中常常实施的用来将树脂微透镜放置在各个感光点之上的手段。例如，尤其是在图像感测装置10是行间固态图像感测装置时，在名称为《Solid-state image device withresin lens and resin contact layer》的美国专利US4667092中介绍了单一微透镜技术，该美国专利以引用的方式并入本文。在这个专利中，更加具体地讲，固态图像装置包括具有块表面的图像存储块，并且沿着块表面嵌入多个存储单元，以便以电荷的形式存储图像。沉积覆盖层来形成与存储单元相对应的光学镜头的阵列。将中间层放置在块表面与覆盖层之间。入射光通过透镜和中间层聚焦到存储单元上。该中间层起到用来调节焦距的调节层的作用。

附图5表示行间固态图像感测装置的横截面。在没有微透镜51的情况下，与感光点的各个光敏区域55相关联的信号读出区域使得使用半导体衬底的整个区域作为光电换能器区域成为不可能。传统的固态图像装置并不有效利用所有入射在它上面的光线，因此灵敏度较低。在感光点之上加上树脂微透镜51使得入射光线得以聚焦到感光点的光活区域上，从而更加有效地利用了入射光线并且增加了感光点的灵敏度。这样，通过改变微透镜51的大小和/或效率，可以轻松更改感光点的灵敏度(增益)。这样，对于行间装置并且对于CMOS传感器，更改感光点的增益的优选方式是通过更改放在感光点之上的微透镜51。如附图5所示，位置52没有微透镜，因此较少的入射光入射到光敏区域上。按照另外一种可选方案，可以将微透镜制造成在位置52处与微透镜51相比具有不同的半径、形状、大小或材料，从而将其构造得将入射光线聚焦到光敏区域55上的效率比标准微透镜51低。本领域的技术人员将会认识到，如果微透镜51将80％的入射光线聚焦到光敏区域55上，并且没有微透镜(或者按照另外一种可选方案非标准微透镜)的区域52能够将20％的入射光线照射到光敏区域55上，则由微透镜51覆盖的感光点比区域52快2档。在这种情况下，为标准感光点使用微透镜51并且不为非标准感光点使用微透镜，如区域52所代表的。

参照表示整帧图像感测装置10的附图6的横截面，在图像感测装置10是整帧装置的情况下，入射到感光点的光敏区域55上的光线必须要穿过掩模(mask)(典型地由金属制成)的小孔，所述掩模在附图6的横截面中表示为包括光遮挡金属掩模部分54和散布在这些金属部分当中的开口小孔56和57。在优选实施方式中，可以通过改造金属掩模54的光屏蔽体来更改感光点的增益。于是感光点的灵敏度与金属掩模54的光屏蔽体的小孔直接相关。例如，一个感光点的小孔尺寸为第二个感光点小孔尺寸的50％，则与第二个感光点上的响应相比，第一个感光点具有50％的响应。例如，光屏蔽体54的第一个小孔56允许入射在该感光点上的光线中的80％通过，但是第二个小孔57较小并且仅仅允许20％的入射光线通过。本领域技术人员将会认识到，具有较大第一小孔56的感光点比具有较小第二小孔57的感光点快2档。在这种情况下，第一小孔56用于标准感光点，而第二小孔57用于非标准感光点。这样，可以对光掩模的小孔进行改造来调节选定感光点的响应。Kodak制作了具有金属掩模光屏蔽体的整帧图像感测装置，它的金属掩模光屏蔽体将所有像素的像素有效区域从大约80％减小到大约20％(用于颤动扫描仪应用，在这种应用中，传感器在水平和垂直方向上移动1/2像素间隔并且拍摄4张照片)。这样，本发明牵涉到利用这样的但是又具有不同大小的小孔的掩模技术来提供对图像光有不同响应的图像传感器。

各个感光点的电子控制也能够提供标准感光点和非标准感光点。例如，美国专利申请US20030052976介绍了一种具有由驱动电压控制的灵敏度不同的感光点的照相装置。可以借助驱动电压为感光点赋予不同的曝光时间。例如，具有最短曝光时间的感光点是非标准感光点，而具有较长曝光时间的感光点是标准感光点。

附图15表示通过使用驱动电压来控制感光点的灵敏度而使感光点具有不同灵敏度的图像传感器的例子，在美国公开专利申请US2003/0052976中介绍了这种图像传感器。附图15图解说明多个感光点208a到208h、多个垂直传送寄存器207a和207b、第一驱动电压施加电极203和第二驱动电压施加电极201和202。感光点(也称为PD或光电二极管)208a到208h是沿着水平方向和垂直方向设置的。垂直传送寄存器207a和207b沿着垂直方向传送在感光点中累积的电荷。第一驱动电压施加电极203是平行于垂直传送寄存器设置的，用于向垂直传送寄存器中具体的一个施加驱动电压。第二驱动电压施加电极201到202是垂直于垂直传送寄存器设置的，用于同时向垂直传送寄存器施加第二驱动电压。由于从第一驱动电压施加电极或第二驱动电压施加电极输出电压或者从这两个电极输出电压，感光点中累积的电荷得以传送到垂直传送寄存器。因此，感光点可以具有不同的灵敏度。对曝光量具有标准响应的感光点称为标准感光点，而对同样的曝光量具有较慢响应的感光点称为非标准感光点。

在优选实施方式中，选定的非标准感光点的响应为同样曝光量所对应的标准感光点响应的X％(其中X≤100)，如附图2中的曲线所示。选定的感光点具有比标准感光点慢两档(-logX/100)的响应。在优选实施方式中，X＝25。参数X的值(即，标准感光点的响应与非标准感光点的响应之间的差值量)有效地限制了图像传感器的动态范围。参数X的值也可以是在制造时设定的常数，或者是用户在图像捕获之前选择的，或者是由驻留在系统控制器18中的算法选择的，该算法分析来自景物的先前图像的图像数据，以确定景物的动态范围，然后近似地设定参数X的值。在优选实施方式中，当系统控制器18处于“普通模式”时，所有感光点都具有与标准响应的增益相等的公共增益。这样，图像感测装置10由多组感光点(标准感光点和非标准感光点)组成。标准感光点的输出的集合构成景物的稀疏采样版本。同样，非标准感光点的输出的集合构成了景物的另一个稀疏采样版本。

作为另一种可供选择的方案，可以通过使用中性滤光片覆盖感光点来减慢选定非标准感光点的响应。附图7表示带有彩色滤光片阵列53的图像感测装置的横截面。注意，彩色滤光片阵列53a是红色的，53b是绿色的，53c是红色的，而53d是绿色的。在彩色滤光片阵列53上方包含一层中性滤光片58，不过这层中性滤光片58和彩色滤光片阵列53的位置并不是问题。注意，中性滤光片层58仅仅在选定的感光点的位置上包含中性滤光片，由中性滤光片59表示。在这种情况下，中性滤光片层58对于标准感光点是透明的或者几乎透明的并且包含对于非标准感光点的中性滤光片59。例如，如果中心滤光片59由能够实现X％光透射的材料构成，则对应非标准感光点的响应将会相对于标准感光点的响应减缓

档。如果使用中性滤光片来构造非标准感光点，则最好在制造的时候将系统控制器18设定为“扩展模式”。

标准感光点和非标准感光点的实现是由限制器来完成的。限制器是这样的物理或逻辑装置：这种装置改变图像传感器上的非标准感光点组的灵敏度，从而使标准感光点对曝光量有第一预定响应，并且使非标准感光点对同样的曝光量有第二、较慢的预定响应。限制器可以用放置在感光点上面的结构单元来实现，比如在标准和非标准感光点上方大小不同的微透镜、掩模内针对标准和非标准感光点大小不同的小孔和在标准和非标准感光点上方的不同的中性滤光片。限制器也可以是图像传感器的程控部件并且支持电子设备，比如使用不同驱动电压以控制标准和非标准感光点的曝光时间和/或增益的逻辑装置。

DREFA处理器22的用途是通过在考虑标准和非标准感光点的同时对数字图像信号进行处理来创建动态范围得到增加的数字图像信号。下面将详细介绍DREFA处理器22的操作。由此，DREFA处理器22的输出是具有得到增大的动态范围的扩展图像信号。然后将这一扩展图像信号输入到CFA内插器，以便进行前面介绍的处理。

注意，虽然附图1暗示了A/D转换器14和DREFA处理器22是直接相接的，但是这并不是本发明的要求。DREFA处理器22可以以处于A/D转换器14和图像感测装置10附件的硬件或软件的形式存在。例如，DREFA处理器22可以直接存在于数码相机内。不过，DREFA处理器22也可以远离图像感测装置10。例如，参照附图8，可以将从A/D转换器14输出的图像信号从数码相机100(在进行压缩之后)传送到主计算机104。传输可以根据需要通过网络102进行。同样，可以经由有线或无线连接线路将从A/D转换器14输出的图像信号(在压缩之后)传送到个人计算机装置、打印机或远程服务器(未示出)，以应用于DREFA处理器22的操作。图像信号的传输还可以包括文件传送协议或电子邮件。此外，可以通过DREFA处理器22由用户借助信用卡或某些其它手段进行付费。

标准感光点与非标准感光点的比例处于介于1∶16和16∶1(本文的数值范围是包含端点的)之间的范围之内。这个范围的两端是使用一种类型的感光点进行的非常稀疏的采样，导致对于这种类型的感光点的分辨率很低。具有较好分辨率的范围是介于1∶4与4∶1之间。在优选实施方式中，将图像感测装置10的50％的感光点选择为具有非标准响应。本领域技术人员将会认识到，改变具有非标准响应的感光点的百分比仍然会体现本发明的优点。在图像感测装置10中的所有感光点具有近似相等的光谱灵敏度(即，全色图像感测装置)的情况下，附图3A表示将会导致图像感测装置10的所有感光点中的接近50％是非标准响应的非标准感光点的排列方案。具有非标准响应的感光点28标有星号(＊)，而具有标准响应的感光点30是空白的。

在彩色图像感测装置10的情况下，附图3B表示使得各种类型(对红色、绿色或蓝色敏感的)感光点中的50％具有非标准响应的排列方案。例如，感光点32是具有非标准响应的红色感光点，感光点34是具有非标准响应的绿色感光点，感光点36是具有非标准响应的蓝色感光点，感光点30是具有标准响应的红色感光点，感光点40是具有标准响应的绿色感光点，感光点42是具有标准响应的蓝色感光点。

可以重复平铺附图3B中所示的4×4图形，以填满图像传感器。换句话说，图像传感器是由具有四乘四像素的重复单元的重复图形构成的。已经通过分析确定，在使用Bayer彩色滤光片阵列的情况下，有4乘4像素的648个图形，其中各种类型的(对红色、绿色或蓝色敏感的)感光点中有50％具有非标准响应(附图3B是其中的一个例子)。如附图12和14所示，重复单元可以大于四乘四像素。在附图12中，示出了八乘八像素重复单元。在附图14中，示出了十六乘十六像素重复单元。

注意，附图3A和3B暗示了对于非标准感光点的位置的规则图形。虽然最好是将非标准感光点排列成规则图形，但是这决不是必须的。可以在图像感测装置10的表面上随机地或半随机地安排非标准感光点，并且将会把它们的位置存储在DREFA处理器22能够访问的某个地方。

附图2中示出了标准感光点对某种程度的曝光量的响应和非标准感光点对同样曝光量的响应。注意，如果在响应上叠加了噪声电平n，则可以很容易看出，标准感光点将会产生曝光量比非标准感光点(产生在

处开始的有效信号)低的有效信号(在曝光等级E处开始)。另外，使来自非标准感光点的信号有效的曝光量等级(直到

的信号电平都有效，其中S是单独一个感光点的固有动态范围，典型地S＝5档)要高于使来自标准感光点(直到E2^S的曝光量产生有效响应)的信号有效的曝光量等级高。注意，标准感光点和非标准感光点在曝光量档(S)内具有相同的响应范围，但是非标准感光点的响应最好比标准感光点慢

档，如附图2所示。最好，标准和非标准感光点的响应相对于曝光量是一致的。就是说，最好 ${-\log }_2\left(\frac{X}{100}\right)<S.$ 在考虑标准和非标准感光点的前提下，图像感测装置的总动态范围是

在优选实施方式(其中S＝5且X＝25)的情况下，图像感测装置10的总有效动态范围是7档曝光量。

可以利用DREFA处理器22的处理，通过使用非标准感光点响应重构图像中存在非常高的曝光量的区域，来扩展图像感测装置10的总动态范围。同样，DREFA处理器22还使用具有标准响应的感光点来重构存在非常低曝光量的信号。

附图4表示DREFA处理器22的分解框图。将从A/D转换器14输出的对数图像信号b(x，y)送到非标准补偿器44。非标准补偿器44的用途是通过用X档说明响应的偏移量来补偿非标准感光点。在优选实施方式中，与非标准感光点相应的图像信号是按照下列量递增的

-cvs log(X/100)，

其中cvs是每档曝光量的代码值的个数。在优选实施方式中，量cvs是51。

另外，如果输入到非标准补偿器44的图像信号与曝光量线性相关(而不是对数相关)，则非标准补偿器44用系数100/X对与非标准感光点相对应的图像信号进行缩放。注意，此时假设对非标准补偿器44已知非标准感光点的位置。非标准补偿器44的输出是在非标准感光点的位置上针对非标准感光点响应与标准感光点响应之间的差值进行了补偿的图像信号i(x，y)。在标准感光点的位置上，从A/D转换器14输出的图像信号b(x，y)的值等于从非标准补偿器44输出的图像信号i(x，y)的值。注意，图像信号i(x，y)并不局限于8位的范围。在优选实施方式中，i(x，y)值的范围是从0到357。

接着，将从非标准补偿器44输出的图像信号i(x，y)输入到非标准门限器(thresholder)46。非标准门限器46的用途是确定质量因感光点没有接收到足以产生有效信号的光子或者因感光点接收到了使信号饱和的过多光子而低下的非标准图像信号的有问题位置。然后在由信号扩充器50进行的处理当中，通过根据附近的标准图像信号的采样计算新的信号来替换这些(x，y)位置上的图像信号，下文中将会对信号扩充器50进行详细介绍。将低于预定阈值的非标准信号的相应值所对应的非标准信号的所有(x，y)位置都看作是有问题位置。在非标准感光点的情况下，这个用于检测有问题位置的目的的预定阈值称为低曝光响应阈值。这样，如果是非标准位置并且如果：

i(x，y)＜T₁

则认为位置(x，y)是有问题位置，其中T₁是预定的。在优选实施方式中，T₁的值是

${-\mathrm{cvs}\log }_2\left(\frac{X}{100}\right),$

这个值在优选实施方式中是102。注意，阈值T₁可以取决于位置(x，y)上的感光点的颜色。有问题位置上的非标准感光点称为噪声像素，因为i(x，y)的值没有充分接近有用的图像感测装置的噪声电平。

同样，将从非标准补偿器44输出的图像信号i(x，y)输入到标准门限器48。标准门限器48的用途是确定质量低下的标准图像信号的有问题位置。然后通过在由信号扩充器50进行的处理当中根据附近的非标准图像信号的采样计算新的信号来替换这些位置上的图像信号，在下文中将对信号扩充器50进行详细介绍。将低于预定阈值信号的标准信号的相应值所对应的所有标准图像信号的(x，y)位置都看作是有问题位置。在标准感光点的情况下，这一用于检测有问题位置的目的的预定阈值称为高曝光响应阈值。这样，如果是标准感光点并且如果：

i(x，y)＞T₂

则认为位置(x，y)是有问题位置，其中T₂是预定的。在优选实施方式中，T₂的值是254。注意，阈值T₂可以取决于位置(x，y)上的感光点的颜色。有问题位置上的标准感光点称为饱和像素，因为这些位置上的i(x，y)值都尽可能地高。

将由非标准门限器46确定的有问题位置和由标准门限器48确定的有问题位置输入给信号扩充器50。此外，还将从非标准补偿器44输出的图像信号i(x，y)输入给信号扩充器50。信号扩充器50的用途是用信号的估算值(这里称为替换值)替换有问题位置(x，y)上的图像信号i(x，y)值，使得图像感测装置10的各个感光点的固有动态范围变大。如果有问题位置与非标准感光点一致，则由相邻的与标准感光点重合的图像信号值计算替换值。在本实施方式中，术语“相邻”指的是一定的空间距离。在优选实施方式中，与选定感光点相邻的感光点是处于距选定感光点2个感光点的范围内的那些感光点。同样，如果有问题位置与标准感光点一致，则由相邻的与非标准感光点一致的图像信号值计算替换值。在优选实施方式中，还要考虑有问题位置上的感光点的颜色。任何一个有问题位置的替换值最好都是仅仅由源于同一颜色的相邻感光点的信号确定的。信号扩充器50的输出是具有这样的动态范围的图像信号i′(x，y)：这个动态范围看起来象是由具有固有动态范围

的感光点的图像感测装置10捕获的，不是图像感测装置10的各个感光点的实际固有动态范围S。注意，对于不是有问题位置的所有(x，y)位置，i′(x，y)的值等于i(x，y)的值。

以针对附图3B中所示的Bayer CFA图形的信号扩充器50所进行的处理举例来说，如果位置(x，y)是有问题位置并且(x，y)是绿色感光点(比如附图3B中的感光点34)的位置，则针对图像信号i(x，y)的替换值是按照下列方式计算出来的：

i′(x，y)＝0.25*[i(x-1，y-1)+i(x+1，y-1)+i(x-1，y+1)+i(x+1，y+1)]

注意，计算i′(x，y)的过程所依据的信号值应该符合某些要求。例如，假定(x，y)是有问题位置并且(x，y)是有非标准响应的绿色感光点。则使用相邻感光点的信号电平来计算替换值i′(x，y)。不过，这假设了各个相邻感光点的信号值也低于T₃。在优选实施方式中，T₃＝T₁。对于不属此情况的各个相邻感光点，将其信号电平从替换值i′(x，y)的计算过程中略去。例如，如果i(x-1，y-1)＞T₃，则值i′(x，y)是按照下列等式计算的：

i′(x，y)＝1/3*[i(x+1，y-1)+i(x-1，y+1)+i(x+1，y+1)]

一般来说，用于确定有问题位置(x，y)上的替换值的内插方案是按照下列等式给出的，其中(x，y)对应于绿色感光点，该绿色感光点还是具有Bayer图形滤光片阵列的图像感测装置上的标准感光点

$i^{\&prime;}(x,y)=\frac{\underset{j=-\mathrm{1,1}}{\mathrm{\&Sigma;}}\underset{k=-\mathrm{1,1}}{\mathrm{\&Sigma;}}i(x+j,y+k)W(x+j,y+k)}{\underset{j=-\mathrm{1,1}}{\mathrm{\&Sigma;}}\underset{k=-\mathrm{1,1}}{\mathrm{\&Sigma;}}W(x+j,y+k)}$

其中

注意，如果有问题位置与还是非标准感光点的绿色感光点相应，则应用相同的等式来确定替换值。不过，在这种情况下

其中在优选实施方式中，T₄＝T₁。

另举一例，也是与附图3B中所示的Bayer CFA图形相结合，如果位置(x，y)是有问题感光点，并且(x，y)是红色或蓝色感光点的位置，则针对图像信号i(x，y)的替换值i′(x，y)是按照下列方式计算出来的：

i′(x，y)＝0.25*[i(x-2，y)+i(x+2，y)+i(x ，y+2)+i(x，y-2)]

当位置(x，y)是红色或蓝色感光点并且还是标准感光点时，可以将用于确定替换值i′(x，y)的等式归纳为下式：

$i^{\&prime;}(x,y)=\frac{\underset{j=-\mathrm{2,0},2}{\mathrm{\&Sigma;}}\underset{k=-2,\mathrm{0,2}}{\mathrm{\&Sigma;}}i(x+j,y+k)W(x+j,y+k)}{\underset{j=-\mathrm{2,0,2}}{\mathrm{\&Sigma;}}\underset{k=-\mathrm{2,0,2}}{\mathrm{\&Sigma;}}W(x+j,y+k)}$

其中

注意，在这种情况下，j或k必须为0，但是j和k不能同时为零。还要注意，如果有问题位置与还是非标准感光点的红色或蓝色感光点相对应，则运用相同的等式来确定替换值。不过，在这种情况下

其中在优选实施方式中，T₄＝T₂。

上面介绍的用来由不止一个稀疏采样的图像信号生成具有得到扩展的动态范围的图像信号的内插方案可以由本领域技术人员加以改造。不过，可以得出很多这样的针对上述内插方案的改造方案，并且不应将这些改造方案视为明显偏离本发明。

本领域技术人员将会认识到，由信号扩充器执行的上述内插方案是低通滤波器，这在本领域中是公知的。典型地，对数字图像信号应用低通滤波具有类似于减小数字图像信号分辨率的效果。这样，由DREFA处理器22进行的处理是用图像感测装置10的空间分辨率换取图像感测装置10的动态范围的方法。实际上，实施所述内插方案来增加信号的动态范围的那些图像区域看起来明显要比在同样的图像区域由传感器以不出现“有问题位置”(由非标准门限器46和标准门限器48定义)的方式捕获的情况下图像的观感更加柔和(锐度较低)。

本发明是具体参照本发明的某些优选实施方式加以介绍的，但是将会理解，在本发明的思想和范围内，可以实现多种改变和改造。例如，本发明给出了一种在两个方向上扩展动态范围的图像捕获装置，即，通过利用来自相邻非标准感光点的图像信号来扩展标准感光点对增大的曝光量的响应并且通过利用来自相邻标准感光点的图像信号来扩展非标准感光点对减小的曝光量的响应。对于该系统来说，从仅仅一个方向影响动态范围应该是同样切实可行的，即，通过利用来自相邻非标准感光点的图像信号来仅仅扩展标准感光点对增大的曝光量的响应，或者按照另外一种可选方案，通过利用来自相邻标准感光点的图像信号来仅仅扩展非标准感光点对减小的曝光量的响应。

Claims (13)

1.一种图像传感器，用于生成对图像光具有不同响应的图像信号，所述图像传感器包括：

感光点阵列，这些感光点分为标准感光点和非标准感光点；

限制器，该限制器为所述标准感光点提供对曝光量的预定标准响应并且为所述非标准感光点提供对同样的曝光量的预定较慢响应；和

放在感光点上面的由多种颜色构成的彩色滤光片阵列；

其中所述标准感光点和所述非标准感光点都按照预定的图形对所述感光点阵列进行稀疏采样，

其中所述标准感光点与所述彩色滤光片阵列的各种颜色相关联，所述非标准感光点与所述彩色滤光片阵列的不到全部颜色相关联。

2.按照权利要求1所述的图像传感器，其中所述感光点阵列具有介于1∶16和16∶1之间的标准感光点与非标准感光点的比例。

3.按照权利要求1所述的图像传感器，其中所述感光点的类型和所述彩色滤光片阵列的颜色一起定义了具有大于四乘四像素的重复单元的重复图形。

4.按照权利要求1所述的图像传感器，其中所述颜色中只有一种颜色，绿色，与数量相等的所述标准和非标准感光点相关联。

5.一种图像传感器，用于生成对图像光具有不同响应的图像信号，所述图像传感器包括：

感光点阵列，这些感光点分为两种类型：标准感光点和非标准感光点；和

限制器，该限制器为所述标准感光点提供对曝光量的预定标准响应并且为所述非标准感光点提供对同样的曝光量的较慢响应；和

放在感光点上面的彩色滤光片阵列，该彩色滤光片阵列由多种颜色构成，所述标准感光点与所述彩色滤光片阵列中的各种颜色相关联，所述非标准感光点与所述彩色滤光片阵列的不到全部颜色相关联。

6.按照权利要求5所述的图像传感器，其中所述彩色滤光片阵列具有红色、绿色和蓝色滤光片并且所述非标准感光点仅与所述绿色滤光片相关联。

7.一种图像传感器，用于生成对图像光具有不同响应的图像信号，所述图像传感器包括：

感光点阵列，这些感光点分为两种类型：标准感光点和非标准感光点；和

限制器，该限制器为所述标准感光点提供对曝光量的预定标准响应并且为所述非标准感光点提供对同样的曝光量的较慢响应；和

放在感光点上面的彩色滤光片阵列，该彩色滤光片阵列由两种或更多种颜色构成，所述标准感光点与所述彩色滤光片阵列的各种颜色相关联；

其中所述感光点的类型和所述彩色滤光片阵列的颜色一起定义了具有大于四乘四像素的重复单元的重复图形，

其中所述非标准感光点与所述彩色滤光片阵列的不到全部颜色相关联。

8.按照权利要求7所述的图像传感器，其中所述重复单元是下列之一：八乘八像素和十六乘十六像素。

9.按照权利要求1、5或7所述的图像传感器，其中所述感光点阵列分为数量不等的标准感光点和非标准感光点。

10.按照权利要求1、5或7所述的图像传感器，其中所述限制器是放在感光点上面的结构单元，所述结构单元包括下列之一：

放在感光点上面的微透镜的阵列，其中放在标准感光点上面的微透镜构造成其聚光效率比放在非标准感光点上面的微透镜高；

具有放在感光点上面的小孔的掩模，其中放在标准感光点上面的小孔大于放在非标准感光点上的小孔；和

放在感光点上面的中性密度滤光片，其中所述中性密度滤光片放在标准感光点上面的部分的透明度比所述中性密度滤光片放在非标准感光点上面的部分高。

11.一种图像捕获系统，包括：

图像传感器，该图像传感器包括感光点阵列，这些感光点分为标准感光点和非标准感光点，其中所述标准感光点和所述非标准感光点都按照预定的图形对所述感光点阵列进行稀疏采样，该图像传感器还包括放在感光点上面的由多种颜色构成的彩色滤光片阵列，其中所述标准感光点与所述彩色滤光片阵列的各种颜色相关联，所述非标准感光点与所述彩色滤光片阵列的不到全部颜色相关联；和

系统控制器，该系统控制器具有普通模式和扩展模式，在所述普通模式下，所述系统控制器利用对相同曝光量有类似响应的标准感光点和非标准感光点操作所述图像传感器，在所述扩展模式下，所述系统控制器利用对曝光量有第一响应的标准感光点和对相同曝光量有第二、较慢的响应的非标准感光点操作所述图像传感器。

12.按照权利要求11所述的系统，其中系统控制器能够根据下列之一调节所述第一和第二响应的相对幅度：用户输入和由所述图像传感器捕获的图像信号的分析结果。

13.按照权利要求11所述的系统，其中系统控制器根据下列之一在所述两种模式之间进行切换：用户输入和由所述图像传感器捕获的图像信号的分析结果。

Images