CN101248659A

CN101248659A - 在变化照明条件下捕获图像

Info

Publication number: CN101248659A
Application number: CNA2006800306133A
Authority: CN
Inventors: J·F·小哈米尔顿; J·T·坎普顿
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2005-08-23
Filing date: 2006-08-22
Publication date: 2008-08-20
Also published as: WO2007024849A1; US20070046807A1; EP1917801A1; JP2009506646A

Abstract

一种使用图像传感器的图像捕获设备，其具有彩色和全色像素并且被构造成允许在不同照明条件下捕获彩色场景图像。

Description

在变化照明条件下捕获图像

技术领域

本发明涉及一种图像捕获设备，其包括具有提高的光敏度的二维图像传感器，本发明还涉及对于来自该设备的图像数据的处理。

背景技术

图像捕获设备依赖于电子图像传感器来产生视觉图像的电子表示。这种电子图像传感器的例子包括电荷耦合器件(CCD)图像传感器以及有源像素传感器(APS)设备(APS设备常常被称作CMOS传感器，这是因为能够用互补金属氧化物半导体工艺来制造所述APS设备)。一般来说，这些图像传感器包括多个光敏像素，所述光敏像素常常被布置在行和列的规则图案中。为了捕获彩色图像，通常在所述像素图案上制造滤光器图案，其中使用不同的滤光器材料以使得各单独像素只对可见光谱的一部分敏感。所述彩色滤光器必然会减少到达每个像素的光量，从而会降低每个像素的光敏度。一直需要提高电子彩色图像传感器的光敏度或摄影速度，以便允许在较低的光级下捕获图像，或者允许以较短的曝光时间捕获较高光级下的图像。

图像传感器是线性的或二维的。一般来说，这些传感器具有两种不同类型的应用。二维传感器通常适用于诸如数字照相机、蜂窝电话以及其他应用之类的图像捕获设备。线性传感器常常被用来扫描文献。在任一情况下，当采用彩色滤光器时，所述图像传感器的灵敏度都被降低。

因此，对于采用具有二维像素阵列的单个传感器的电子捕获设备，需要提高光敏度。此外，还需要提高光敏度以有益于捕获场景细节以及捕获场景色彩。

发明内容

简而言之，根据本发明的一方面，本发明提供一种用于在变化照明条件下捕获场景图像的方法，该方法包括：

a)提供具有全色和彩色像素的图像传感器；

b)用户选择场景模式，并且根据照明条件和所选场景模式来调节图像捕获曝光；以及

c)利用调节后的曝光，通过该图像传感器来捕获场景。

根据本发明的用于捕获场景图像的方法特别适用于低水平照明条件，其中这种低水平照明条件是低场景照明、短曝光时间、小光圈或者对于到达传感器的光的其他限制的结果。这种方法可以被有效地用在多种应用中。

通过查看下面对优选实施例的详细描述以及所附权利要求书并且通过参考附图，本发明的这些和其他的方面、目的、特征和优点将得到更清楚的理解和认识。

附图说明

图1是根据本发明的数字捕获设备的方框图；

图2(现有技术)是示出最小重复单位和非最小重复单位的常规的Bayer彩色滤光器阵列图案；

图3提供红色、绿色和蓝色像素的代表性光谱量子效率曲线以及更宽光谱全色量子效率，它们全都与红外截止滤光器的透射特性相乘；

图4A-D提供本发明的彩色滤光器阵列图案的几种变型的最小重复单位，所述阵列图案具有布置成行或列的彩色光响应相同的彩色像素；

图5示出来自图4A的最小重复单位的单元结构；

图6A是图4A的插值全色图像；

图6B是对应于图4A和图5中的单元的低分辨率彩色图像；

图7A-C示出组合图4A的像素的几种方式；

图8A-D示出图4A的彩色滤光器阵列图案，其彩色像素具有替换的彩色光响应特性，其中包括四色替换方案以及青色、品红色和黄色替换方案；

图9提供本发明的替换彩色滤光器阵列的最小重复单位，其中全色像素被布置在对角线中；

图10A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位，其中全色像素形成一个栅格，彩色像素被嵌入到所述栅格中；

图11A-D提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位和拼接布置，其中每个单元有两种颜色；

图12A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位，其中每个单元有两种颜色，并且全色像素被布置在对角线中；

图13A-C提供图4A的变型，其中最小重复单位小于8×8像素；

图14A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位，其中所述最小重复单位是6×6像素；

图15A-B提供本发明的替换彩色滤光器阵列的两种变型的最小重复单位，其中所述最小重复单位是4×4像素；

图16是图4A的最小重复单位，其中具有对应于该最小重复单位内的各单独像素的下标；

图17A-E示出图16的一个单元的全色像素和彩色像素以及组合所述彩色像素的各种方式；

图18是本发明的过程图，其示出本发明的对来自传感器的彩色和全色像素数据进行处理的方法；以及

图19A-D说明本发明用于对图18的低分辨率部分色图像中的缺失颜色进行插值的方法。

具体实施方式

由于采用成像设备和用于信号捕获及校正以及用于曝光控制的相关电路的数字照相机是公知的，因此这里的描述将特别针对形成根据本发明的方法和设备的一部分或者与其直接协作的元件。没有在这里专门示出或描述的元件是从本领域中已知的元件中选择的。将要描述的实施例的某些方面是用软件提供的。在下面的材料中给出根据本发明示出及描述的系统的情况下，没有在这里专门示出、描述或提出的可用于实施本发明的软件是常规的，并且是本领域技术人员所能想到的。

现在转到图1，其中示出图像捕获设备的方框图，其被显示为具体实现本发明的数字照相机。虽然现在将解释数字照相机，但是本发明显然适用于其他类型的图像捕获设备。在所公开的照相机中，来自对象场景的光10被输入到成像级11，所述光在该成像级处被透镜12聚焦，从而在固态图像传感器20上形成图像。图像传感器20把入射光转换成用于每个图像元素(像素)的电信号。该优选实施例的图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS)类型(APS设备常常被称作CMOS传感器，这是因为能够用互补金属氧化物半导体工艺来制造所述APS设备)。还使用具有二维像素阵列的其他类型的图像传感器，只要它们采用本发明的图案。本发明还利用了具有彩色和全色像素的二维阵列的图像传感器20，在描述了图1之后，这一点在本说明书的后面的部分中将变得显而易见。用于所述图像传感器20的本发明的彩色和全色像素的图案实例可以在图4A-D、图8A-D、图9、图10A-B、图11A、图11C、图13A-C、图14A-B以及图15A-B中看到，尽管在本发明的精神内也可以使用其他图案。

图像传感器20从对象场景接收光。从图像传感器20的每个像素所得到的电信号通常与到达该像素的光的强度以及允许该像素累积或积分来自输入光的信号的时间长度相关。这一时间被称作积分时间或曝光时间。在本上下文中，所述积分时间是在其间快门18允许光到达图像传感器20并且该图像传感器同时操作来记录所述光的时间。总体光强度与积分时间的组合被称作曝光。应当理解，可以通过光强度和积分时间的各种组合来实现等效的曝光。例如，可以把长积分时间用于具有非常低光强度的场景，以便实现与把短积分时间用于具有高光强度的场景的情况相同的曝光。

图1包括几个用来调整曝光的元件。滤光器组件13和虹膜14在所述传感器处修改光强度。快门18提供一种用于允许或防止光到达所述图像传感器的机制，而定时发生器26提供一种控制该图像传感器何时主动记录图像的方式。这样，快门18和定时发生器26联合决定所述积分时间。虹膜块14通过使用机械光圈来阻挡光路中的光，从而控制到达图像传感器20的光的强度。虹膜14可以包括一个具有可变尺寸的机械光圈，或者它可以包括几个不同尺寸的固定光圈，所述不同尺寸的固定光圈可以被选择性地插入到光路中。滤光器组件块13提供通过选择性地把光吸收或光反射滤光器放置在光路中来提供另一种控制到达图像传感器20的光的强度的方式。该滤光器可以是均等地减少所有颜色的光的中性滤光器，或者它可以是比起其他颜色来更优先地减少某些颜色的色平衡滤光器。例如当用白炽灯照明所述场景时可以使用色平衡滤光器，所述白炽灯提供比蓝光相对更多的红光。滤光器组件块13可以包括几个滤光器，可以选择性地把所述滤光器单独地或组合地插入到光路中。快门18也被称作机械快门，其通常包括连接到致动器的帘幕或可移动叶片，该致动器在积分时间开始时把所述帘幕或叶片从光路中移除，并且在积分时间结束时把所述帘幕或叶片插入到光路中。一些类型的图像传感器允许通过重置所述图像传感器并且随后在后来的某一时间读出该图像传感器来电子地控制积分时间。所述重置与读出之间的时间间隔限定所述积分时间的边界，并且该时间间隔由定时发生器块26控制。

虽然图1示出几个曝光控制元件，但是一些实施例可能没有包括这些元件当中的一个或多个，或者可以有替换的控制曝光机制。在本发明所能适用的多种图像捕获设备中将会预期到这些变型。

如前所述，可以通过光强度与积分时间的各种组合来实现等效的曝光。虽然所述曝光是等效的，但是对于捕获给定的场景图像来说，比起其他等效曝光而言可能更加优选光强度与积分时间的特定曝光组合。例如，在捕获体育事件时，短积分时间通常是优选的，以便避免由于在积分时间期间跑或跳的运动员的运动而导致的模糊图像，在这种情况下，所述虹膜块可以提供用于高光强度的大光圈，并且所述快门可以提供短积分时间。这种情况用作场景模式的一个例子，具体来说就是比起小光圈更偏向短积分时间的体育场景模式。一般来说，场景模式是用于选择及控制组合来实施曝光的各元件的优选项，以便最优地捕获特定场景类型。场景模式的另一个例子是风景场景模式。在这种场景模式中，优选小光圈以提供良好的景深，其中调节积分时间以提供最优曝光。场景模式的又一个例子是一般场景模式，其优选小光圈以获得良好景深，其中积分时间随着场景光级降低而增大，直到积分时间对于特定光级变得足够长从而手持式照相机抖动成了问题，此时积分时间保持固定，并且所述虹膜提供大光圈以提高在所述传感器处的光强度。

图1中的曝光控制器块40对上面概述的各曝光调整元件进行控制或调节。亮度传感器块16包含至少一个对可见光谱中的光做出响应的传感器。例如，亮度传感器块16可以具有单个宽光响应传感器，或者它可以具有多个传感器，所述多个传感器具有不同的窄光响应，比如红色、绿色和蓝色。亮度传感器块16向曝光控制器块40提供至少一个表示场景光强度的信号。例如，如果由曝光控制器40接收到的(多个)亮度信号表明总体场景亮度级对于传感器20过高，则曝光控制器40可以指示滤光器组件块13把特定ND滤光器插入到光路中。或者，如果红色亮度信号比蓝色亮度信号电平超出了指定量，则曝光控制器块40可以指示滤光器组件块13把特定色平衡滤光器插入到光路中，以补偿所述更大量的可用红光。除了使用来自滤光器组件13的滤光器之外，曝光控制器40还可以指示虹膜14打开或关闭各种指定量，其可以打开或关闭机械快门18，并且它还可以通过系统控制器50间接地控制定时发生器26。曝光控制器40可以单独地或者以任何组合使用任何上述曝光控制动作。

曝光控制器块40还从用户输入端块74以及从系统控制器块50接收输入。上面描述的场景模式通常由用户作为用户输入提供。当快速连续进行多次图像捕获时，还可以从在前一次捕获时所获得的数字化图像数据估计对应于下一次捕获的照明强度。可以由曝光控制器40使用经过数字信号处理器36和系统控制器50的所述图像数据，以便增强或覆盖来自亮度传感器16的数字信号。

曝光控制器块40使用来自亮度传感器16、用户输入端74(包括场景模式) 以及系统控制器50输入端的(多个)光强度信号来确定如何控制所述各曝光调整元件以提供适当的曝光。曝光控制器40可以自动确定如何控制或调节所有所述曝光调整元件以产生正确的曝光。可选择地，通过用户输入端块74，用户可以人工控制或调节所述曝光调整元件以产生用户选择的曝光。此外，用户可以人工地控制或调节仅仅一些曝光调整元件，同时允许曝光控制器40自动控制剩余的元件。所述曝光控制器还通过取景器显示器70和曝光显示器72向用户提供关于曝光的信息。用于用户的所述信息包括所述自动或人工确定的积分时间、光圈以及其他曝光调整元件。在基于各曝光调整元件的操作极限而无法实现正确曝光的情况下，所述信息还可以包括图像捕获将被欠曝光或过曝光的程度。

在图1中被显示为数字照相机的图像捕获设备还可以包括其他特征，比如自动聚焦系统或者可拆卸并且可互换的透镜。将会理解，本发明适用于任何类型的数字照相机或其他图像捕获设备，其中通过替换的部件来提供类似的功能。例如，所述数字照相机是相对简单的“对准即拍”数字照相机，其中快门18是相对简单的可移动叶片快门或类似装置，而不是更加复杂的焦平面布置。还可以在被包括在非照相机设备(比如移动电话和机动车辆)中的成像部件上实践本发明。

来自图像传感器20的模拟信号被模拟信号处理器22处理，并且被施加到模数(A/D)转换器24。定时发生器26产生各个时钟信号，以便选择行和像素并且同步模拟信号处理器22与A/D转换器24的操作。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24以及定时发生器26。图像传感器级28的各部件是单独制造的集成电路，或者它们被制造成单个集成电路，对于CMOS图像传感器通常就是这样做的。来自A/D转换器24的所得到的数字像素值流被存储在与数字信号处理器(DSP)36相关联的存储器32中。

数字信号处理器36是该实施例中的三个处理器或控制器的其中之一，另外两个是系统控制器50和曝光控制器40。虽然在多个控制器和处理器之间划分照相机功能控制是典型的，但是在不影响照相机的功能操作以及本发明的应用的情况下，可以以各种方式组合这些控制器或处理器。这些控制器或处理器可以包括一个或多个数字信号处理器设备、微控制器、可编程逻辑设备或者其他数字逻辑电路。虽然已经描述了这种控制器或处理器的组合，但是下述应当是明显的，即可以指定一个控制器或处理器来执行全部所需功能。所有这些变型都可以执行相同的功能并且都落在本发明的范围内，以及将按照需要使用术语“处理级”来把所有上述功能都包含在一个短语内，比如图1中的处理级38。

在所示出的实施例中，DSP 36根据软件程序在其存储器32中操纵所述数字图像数据，所述软件程序被永久性地存储在程序存储器54中，并且被拷贝到存储器32以便在图像捕获期间执行。DSP 36执行对于实践图18中所示出的图像处理所必须的软件。存储器32包括任何类型的随机存取存储器，比如SDRAM。包括用于地址和数据信号的路径的总线30把DSP 36连接到其相关存储器32、A/D变换器24以及其他相关设备。

系统控制器50基于存储在程序存储器54中的软件程序来控制所述照相机的总体操作，该程序存储器可以包括闪速EEPROM或者其他非易失性存储器。该存储器还可以被用来存储图像传感器校准数据、用户设置选择以及在关闭照相机时所必须保留的其他数据。系统控制器50通过以下方式来控制图像捕获序列：指导曝光控制器40如前所述地操作透镜12、滤光器组件13、虹膜14和快门18，指导定时发生器26操作图像传感器20和相关联的元件，以及指导DSP 36处理所捕获的图像数据。在捕获并处理了图像之后，通过接口57把存储在存储器32中的最终图像文件传送到主计算机，将其存储在可移动存储卡64或其他存储设备上，并且在图像显示器88上为用户进行显示。

总线52包括用于地址、数据和控制信号的路径，并且把系统控制器50连接到DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60以及其他相关设备。主机接口57提供到个人计算机(PC)或其他主计算机的高速连接以便传送图像数据，从而进行显示、存储、操纵或打印。该接口是IEEE 1394或USB 2.0串行接口或者任何其他合适的数字接口。存储卡64通常是压缩闪存(CF)卡，其被插入到插槽62中，并且通过存储卡接口60被连接到系统控制器50。还可以利用其他类型的存储装置，其中包括但不限于PC卡、多媒体卡(MMC)或者安全数字(SD)卡。

经过处理的图像被拷贝到系统存储器56中的显示缓冲器，并且通过视频编码器80被连续读出，以便产生视频信号。该信号被直接从照相机输出以便显示在外部监视器上，或者其被显示控制器82处理并且被呈现在图像显示器88上。该显示器通常是有源矩阵彩色液晶显示器(LCD)，尽管也可以使用其他类型的显示器。

所述用户接口包括取景器显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输入端74的全部或任何组合，其由在曝光控制器40和系统控制器50上执行的软件程序的组合来控制。所述取景器显示器、曝光显示器和用户输入显示器是用户控制和状态接口68。用户输入端74通常包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏的某种组合。曝光控制器40操作光计量、场景模式、自动聚焦和其他曝光功能。系统控制器50管理被呈现在一个或多个所述显示器上(例如图像显示器88上)的图形用户接口(GUI)。所述GUI通常包括用于做出各种选项选择的菜单以及用于检查所捕获的图像的检查模式。

ISO速度评定是数字静物照相机的一个重要属性。所述曝光时间、透镜光圈、透镜透射率、场景照明的水平和光谱分布、以及场景反射率决定数字静物照相机的曝光水平。当利用不足曝光获得来自数字静物照相机的图像时，通常可以通过增大电子或数字增益来保持适当的色调再现，但是该图像将包含的噪声量是不可接受的。随着曝光增加，所述增益被减小，因此通常可以把图像噪声减小到可接受的水平。如果曝光被过度增加，则在所述图像的明亮区域内所得到的信号可能会超出所述图像传感器或照相机信号处理的最大信号电平容量。这可能导致对图像高亮部分进行限幅以形成均匀的明亮区域，或者将其晕化(bloom)到该图像的周围区域中。重要的是在设置适当曝光时对用户进行引导。ISO速度评定就打算充当这种引导。为了易于摄影者理解，数字静物照相机的ISO速度评定应当与摄影胶片照相机的ISO速度评定直接相关。例如，如果数字静物照相机具有ISO 200的ISO速度评定，则相同的曝光时间和光圈对于ISO 200评定的胶片/工艺系统应当是适当的。

所述ISO速度评定打算与胶片ISO速度评定相协调。然而，除了完全等效性之外，在电子成像系统与基于胶片的成像系统之间存在差异。数字静物照相机可以包括可变增益，并且可以在捕获了图像数据之后提供数字处理，从而能够在一定范围的照相机曝光内实现色调再现。因此，有可能使得数字静物照相机具有一定范围的速度评定。该范围被定义为ISO速度宽度(latitude)。为了防止混淆，单个值被指定为固有ISO速度评定，而所述ISO速度宽度的上限和下限表明所述速度范围，也就是包括不同于该固有ISO速度评定的各有效速度评定的范围。考虑到这一点，所述固有ISO速度是一个从在数字静物照相机的焦平面处提供的曝光计算的数值，以便产生指定的照相机输出信号特性。所述固有速度通常是对于普通场景为给定照相机系统产生峰值图像质量的曝光指数值，其中所述曝光指数是与被提供给图像传感器的曝光成反比的数值。

所述数字照相机可以被配置并且操作来捕获单个图像或者捕获图像流。例如，图像传感器级28可以被配置成捕获单个全分辨率图像，并且机械快门18可以被用来控制所述积分时间。这种情况非常适用于静物摄影的单个图像捕获。可选择地，所述图像传感器级可以被配置成捕获有限分辨率图像流，并且所述图像传感器可以被配置成电子地控制所述积分时间。在本例中，可以在不受所述传感器的读出速度或者所述机械快门的致动速度的情况下捕获连续图像流。本例例如可用于捕获将被用来提供视频信号的图像流，正如视频照相机的情况。在这些示例中概述的配置是被采用来进行单个捕获以及捕获图像流的配置的例子，但是还可以使用替换的配置来进行单个图像捕获以及捕获图像流。可以在提供单个图像捕获或者用于捕获图像流的图像捕获设备中实践本发明。此外，结合了本发明的图像捕获设备可以允许用户在单个图像捕获与捕获图像流之间进行选择。

在图1中示出的图像传感器20通常包括制造在硅基板上的二维光敏像素阵列，其提供一种把在每个像素处的输入光转换成所测量的电信号的方式。随着所述传感器被曝光，在每个像素处的电子结构内生成并捕获自由电子。通过在某一时间段内捕获这些自由电子并且随后测量所捕获的电子数目或者通过测量生成自由电子的速率，可以测量在每个像素处的光级。在前一个示例中，所累积的电荷被转移出所述像素阵列而到电荷-电压测量电路(如在电荷耦合器件(CCD)中)，或者靠近每个像素的区域可以包含电荷-电压测量电路的元件(如在有源像素传感器(APS或CMOS传感器)中)。

每当在下面的描述中一般性地提到图像传感器时，应当理解其代表来自图1的图像传感器20。还应当理解，在本说明书中公开的本发明的图像传感器体系结构和像素图案的所有实例及其等效方案都可以被用于图像传感器20。

在图像传感器的情境中，像素(“图像元素”的缩写)指代离散的感光区域以及与该感光区域相关联的电荷转移或电荷测量电路。在数字彩色图像的情境中，术语“像素”通常指代具有相关联的颜色值的图像中的特定位置。

为了产生彩色图像，图像传感器中的像素阵列通常具有放置在所述像素上的彩色滤光器图案。图2示出通常使用的红色、绿色和蓝色滤光器的图案。该特定图案通常被称作Bayer彩色滤光器阵列(CFA)，这是按照其发明人Bryce Bayer命名的，正如US 3,971,065中所公开的那样。该图案被有效地用在具有二维彩色像素阵列的图像传感器中。结果，每个像素具有特定的彩色光响应，所述彩色光响应在本例中是对于红色、绿色或蓝色光的主导灵敏度。另外几种有用的彩色光响应是对于品红色、黄色或青色光的主导灵敏度。在每种情况下，特定彩色光响应对于可见光谱的某些部分具有高灵敏度，同时对可见光谱的其他部分具有低灵敏度。术语“彩色像素”将指代具有彩色光响应的像素。

被选择用于传感器中的所述一组彩色光响应通常具有三种颜色(如在Bayer CFA中所示出的那样)，但是它也可以包括四种或更多颜色。在这里使用的全色光响应指的是比起在所选该组彩色光响应中表示的光谱灵敏度具有更宽光谱灵敏度的光响应。全色光敏度可以在整个可见光谱上具有高灵敏度。术语“全色像素”将指代具有全色光响应的像素。虽然所述全色像素通常比起所述该组彩色光响应具有更宽的光谱灵敏度，但是每个全色像素也可以具有相关联的滤光器。这种滤光器是中性密度滤光器或彩色滤光器。

当彩色和全色像素的图案处在图像传感器的表面上时，每一个这种图案具有一个重复单位，所述重复单位是充当基本构建块的邻接像素子阵列。通过并置所述重复单位的多个拷贝而产生整个传感器图案。所述重复单位的多个拷贝的并置是在对角线方向上以及在水平和垂直方向上进行的。

最小重复单位是使得没有其他重复单位具有更少像素的重复单位。例如，图2中的CFA包括作为2×2像素的最小重复单位，如图2中的像素块100所示。对该最小重复单位的多个拷贝进行拼接，以便覆盖图像传感器中的整个像素阵列。所述最小重复单位被显示为在右上角处具有绿象素，但是通过把用粗轮廓线标出的区域向右、向下或者在对角线方向上向右下移动一个像素，可以容易地辨识出三种替换的最小重复单位。虽然像素块102是一个重复单位，但是它不是最小重复单位，这是因为像素块100也是重复单位，并且像素块100比块102的像素更少。

利用包括具有图2的CFA的二维阵列的图像传感器所捕获的图像在每个像素处仅具有一个颜色值。为了产生全彩色图像，存在多种用于推断或者插值在每个像素处的缺失颜色的技术。这些CFA插值技术是本领域内所公知的，并且参考以下专利：US5506619、US5629734以及US5652621。

图3示出在典型的照相机应用中具有红色、绿色和蓝色滤光器的像素的相对光谱灵敏度。图3中的X轴表示以纳米计的光波长，Y轴表示效率。在图3中，曲线110表示被用来阻挡红外和紫外光到达所述图像传感器的典型滤光器的光谱透射特性。需要这种滤光器是因为用于图像传感器的彩色滤光器通常不阻挡红外光，因此像素无法区分红外光与处在其相关联的彩色滤光器的通带内的光。曲线110所示的红外阻挡特性防止红外光破坏可见光信号。把对应于应用了红色、绿色和蓝色滤光器的典型硅传感器的光谱量子效率(即被捕获并且被转换成可测量的电信号的入射光子的比例)乘以由曲线110所表示的红外阻挡滤光器的光谱传输特性，以便产生组合的系统量子效率，其由对应于红色的曲线114、对应于绿色的曲线116和对应于蓝色的曲线118表示。从这些曲线可以理解，每种彩色光响应仅仅对可见光谱的一部分是灵敏的。相反，曲线112示出了没有应用彩色滤光器(但是包括所述红外阻挡滤光器特性)的相同硅传感器的光响应；这是全色光响应的一个例子。通过把所述彩色光响应曲线114、116和118与全色光响应曲线112进行比较，很明显所述全色光响应对于宽谱光的灵敏度是任何所述彩色光响应的三到四倍。

图3中示出的更高全色灵敏度允许通过混合包括彩色滤光器的像素与不包括彩色滤光器的像素来提高图像传感器的总体灵敏度。然而，所述彩色滤光器像素将远不如所述全色像素那么灵敏。在这种情况下，如果对所述全色像素进行适当曝光从而使得来自场景的光强度范围覆盖所述全色像素的完全测量范围，则所述彩色像素将会明显欠曝光。因此，有利的是调节所述彩色滤光器像素的灵敏度，从而使得它们具有与所述全色像素大致相同的灵敏度。例如通过相对于所述全色像素增大所述彩色像素的尺寸来提高彩色像素的灵敏度，其中空间像素有相关联的减少。

图4A表示具有两个组的二维像素阵列。第一组像素当中的像素的光谱光响应窄于第二组像素当中的像素。第一组像素包括与至少两种不同的光谱光响应相关的各单独像素，所述至少两种不同的光谱光响应对应于至少两种彩色滤光器。所述两组像素被混合，以便提高所述传感器的总体灵敏度。在本说明书中变得更明显的将是，第一组像素和第二组像素的放置定义了具有最小重复单位的图案，所述最小重复单位包括至少12个像素。所述最小重复单位包括被布置成允许再现在不同照明条件下所捕获的彩色图像的第一和第二组像素。

在图4A中示出的完整图案表示被拼接成覆盖整个像素阵列的最小重复单位。与图2一样，存在几种被用来描述彩色像素和全色像素的这一总体布置的其他最小重复单位，但是它们在其特性方面是基本上等效的，并且其中的每一种都是一个像素子阵列，所述子阵列具有8×8像素的范围。这种图案的一个重要特征是交替的全色像素行和彩色像素行，其中所述各彩色行包括分组在一起的具有相同彩色光响应的像素。具有相同光响应的各组像素连同其一些相邻全色像素被视为形成4个单元，所述4个单元构成所述最小重复单位，其中的一个单元是比最小重复单位具有更少像素的邻接像素子阵列。

这4个单元在图4A中用粗线描绘并且在图5中被显示为单元120、122、124和126，其分别围住了4组4×4像素，其中120表示左上单元、122表示右上单元、124表示左下单元并且126表示右下单元。所述4个单元当中的每一个包括8个全色像素和8个具有相同彩色光响应的彩色像素。一个单元内的各彩色像素被组合来表示对应于该整个单元的颜色。因此，图5中的单元120被视为绿色单元，单元122被视为红色单元，依此类推。每个单元包括至少两个相同颜色的像素，从而允许组合相同颜色的像素以便克服所述彩色像素与全色像素之间的光敏度差异。

在具有4个不重叠单元的最小重复单位的情况下(其中每个单元具有两个相同颜色的像素和两个全色像素)，很明显该最小重复单位包括16个像素。在具有3个不重叠单元的最小重复单位的情况下(其中每个单元具有两个相同颜色的像素和两个全色像素)，很明显该最小重复单位包括12个像素。

根据本发明，当按照图5中标识出的单元结构来考虑时，图4A的最小重复单位可以表示高分辨率全色图像与低分辨率Bayer图案彩色图像的组合，其被布置成允许再现在不同照明条件下所捕获的彩色图像。所述Bayer图案图像的各单独元素表示相应单元中的彩色像素的组合。第一组像素定义了低分辨率彩色滤光器阵列图像，第二组像素定义了高分辨率全色图像。参见图6A和图6B。图6A表示对应于图4A的高分辨率全色图像，其包括来自图4A的全色像素P以及插值的全色像素P’；图6B表示所述低分辨率Bayer图案彩色图像，其中R’、G’和B’对于在图5中标出轮廓的每个所述单元表示与该单元内的组合彩色像素相关联的单元颜色。

在下面的讨论中，图4B-D、8A-D、9、10A-B、11A、11C、12A-B、13A-C、14A-B和15A-B中的所有单元都用粗线描绘，正如在图4A中那样。

除了图4A的替换最小重复单位之外，所述图案中的每个单元被旋转90度，以便产生图4B中所示的图案。这是基本上相同的图案，但是它把最高全色采样频率放置在垂直方向上而不是水平方向上。关于使用图4A还是图4B的选择分别取决于是期望在水平方向还是垂直方向上具有更高的全色空间采样。然而，很明显，构成全部两个图案中的最小重复单位的所得到的单元对于这两个图案都产生相同的低分辨率彩色图像。因此，图4A和图4B从彩色的观点来看是等效的。一般来说，图4A和图4B是利用线性地布置在行或列中的全色像素来实践本发明的例子。此外，图4A具有单行全色像素，其中的每一行全色像素通过一行彩色像素与相邻的一行全色像素分隔开；图4B在列方向上具有相同的特性。

图4C表示图4A的又一种替换最小重复单位，其具有基本上相同的单元颜色特性。然而，图4C示出在逐单元的基础上交错的全色和彩色行。这可以提高垂直全色分辨率。在图4D中表示图4A的又一种替换最小重复单位，其中全色和彩色行以列对交错。这也具有提高垂直全色分辨率的可能。图4A-D的所有最小重复单位的一个特性在于，具有两个或更多同色像素的各组被并排布置在行或列中。

图4A-D全都具有与构成表示低分辨率Bayer图案的最小重复单位的各单元相同的颜色结构。因此可以看出，在本发明的精神内可以构造全色像素和分组彩色像素的多种布置。

为了提高彩色光敏度以便克服全色光敏度与彩色光敏度之间的差别，按照各种方式组合每个单元内的彩色像素。例如，在CCD图像传感器中或者在允许结合(binning)的各种类型的有源像素传感器中对来自相同颜色的像素的电荷进行组合或结合。可选择地，对与相同颜色像素中的所测量的电荷量相对应的电压求平均，这例如是通过并联连接被充电到这些电压的电容器而实现的。在又一种方法中，在相同颜色像素处的光级的数字表示被相加或求平均。组合或结合来自两个像素的电荷会使信号电平加倍，而与对该组合信号的采样和读出相关联的噪声则保持相同，从而使得信噪比增大一倍，这表示所述组合像素的光敏度也相应地增大一倍。在对来自两个像素的光级的数字表示进行相加的情况下，所得到的信号增大一倍，但是来自读取所述两个像素的相应噪声电平正交组合，从而噪声是原来的倍；因此所得到的所述组合像素的信噪比是未组合信号的倍。类似的分析也适用于电压或数字求平均。

前面描述的用于组合来自单元内的相同颜色像素的信号的各种方法被单独使用或组合使用。例如，通过两个一组地垂直组合来自图4A中的相同颜色像素的电荷，可以产生具有图7A中示出的组合信号R’、G’和B’的组合像素。在该例中，每个R’、G’和B’的灵敏度是所述未组合像素的两倍。可选择地，通过4个一组地水平组合来自图4A中的相同颜色像素的所测量的值(电压或数字的)，可以产生具有图7B中示出的组合信号R’、G’和B’的组合像素。在该例中，由于信号是原来的4倍而噪声是原来的2倍，因此每个R’、G’和B’的灵敏度是所述未组合像素的两倍。在另一种替换组合方案中，如图7A中那样两个一组地垂直组合来自相同颜色像素的电荷并且4个一组地对图7A的组合像素的所测量的值进行水平相加或求平均，从而产生图7C的最终组合彩色像素，其中R”、G”和B”表示相同颜色像素的最终组合。在该组合布置中，图7C的最终组合彩色像素的灵敏度分别是所述未组合像素的4倍。一些传感器体系结构(值得注意的是某些CCD布置)可以允许按照图7C的方式组合来自每个单元内的所有8个相同颜色像素的电荷，从而导致组合彩色像素的灵敏度增大到原来的8倍。

通过前述内容现在将会理解，在出于调节彩色像素的灵敏度的目的组合所述彩色像素方面存在几个自由度。本领域技术人员可以想到公知的组合方案，所述组合方案是基于场景内容、场景光源、总体光级或者其他标准。此外，所述组合方案被选择成有意地允许所述组合像素具有高于或低于所述全色像素的灵敏度。

到目前为止描述了采用红色、绿色和蓝色滤光器的图像传感器。可以利用替换的滤光器选择来实践本发明。采用青色、品红色和黄色传感器的图像传感器是本领域中所公知的，并且可以利用青色、品红色和黄色滤光器来实践本发明。图8A示出图4A的青色、品红色和黄色等效方案，其中C表示青色像素，M表示品红色像素，Y表示黄色像素。本发明还可用于具有多于三种彩色光响应的像素。

图8B示出本发明的最小重复单位，其包括青色像素(用C表示)、品红色像素(用M表示)、黄色像素(用Y表示)和绿色像素(用G表示)。这保留了图5中示出的最小重复单位的总体单元布置，但是包括四种不同颜色的像素，从而包括四种不同颜色的相应单元。图8C示出又一种替换的四色布置，其包括红色像素(用R表示)、蓝色像素(用B表示)、具有一种彩色光响应的绿色像素(用G表示)以及具有不同彩色光响应的替换绿色像素(用E表示)。图8D示出又一种替换的四色布置，其中用黄色单元取代图4A的其中一个绿色单元，黄色像素用Y表示。

可以用除了全色像素之外的少于三种颜色来实践本发明。例如，适合使用具有对应于红色和蓝色的单元的最小重复单位。

在本发明的精神内可以实践图4A的许多替换方案。例如，图9表示本发明的替换最小重复单位，其具有与图4A相同的单元结构，但是具有全色像素的棋盘图案。这种图案提供对所述图像的均匀全色采样，从而克服了图4A、4C和4D的垂直全色采样缺陷。图9被表征为通过把全色像素布置在对角线中来实践本发明的一个例子。图9还被表征为具有各单独的全色像素对角线，其中每一条全色像素对角线通过一条彩色像素对角线与相邻的一条全色像素对角线分隔开。图9的又一个特性在于，各组两个或更多同色像素被并排地布置在对角线中。

到目前为止所给出的图案都具有相等数目的全色和彩色像素。本发明不限于这种布置，因为全色像素可以多于彩色像素。图10A示出本发明的又一个实施例，其中彩色像素被嵌入在全色像素的栅格图案内。这种图案提供非常好的全色空间采样，同时表示出与图4A和9相同的彩色单元布置。图10B提供所述全色栅格图案的4色实施例的一个例子。一般来说，图10的最小重复单位被表征为通过一个或多个全色像素把每个彩色像素与相邻彩色像素分隔开。

对于给定的像素图案，最小重复单位先前已被定义为使得没有其他重复单位具有更少像素的重复单位。按照相同的意义，根据所述重复单位中的像素总数对来自不同像素图案的重复单位的尺寸进行比较。作为一个例子，来自一种像素图案的4×8像素的重复单位小于来自另一种像素图案的6×6像素的重复单位，这是因为第一重复单位中的像素总数(4×8＝32)小于第二重复单位中的像素总数(6×6＝36)。作为另一个例子，如果一个重复单位小于具有8×8像素的重复单位，则其包含少于64个总像素。

到目前为止所给出的所有图案都展现出这样的单元结构：其中每个单元包含除了全色像素之外的单个颜色。此外，目前所给出的所有图案都展现出具有8×8像素范围的最小重复单位。还可以使用在每个单元内具有多于一种颜色的单元的最小重复单位；此外，还可以定义小于8×8像素范围的最小重复单位。例如，图11A的最小重复单位具有两个单元，其中每个单元包括两种颜色：左单元中的蓝色和绿色(分别用B和G表示)，以及右单元中的红色和绿色(分别用R和G表示)。在图11A中的各单元包含两种颜色，并且这些颜色被布置成便于组合相同颜色以用于提高颜色灵敏度的目的。图11B示出如何拼接图11A的最小重复单位，以便交错红色和蓝色。图11C提供采用4种颜色并且每单元两种颜色的最小重复单位。图11D示出如何拼接图11C的最小重复单位，以便交错红色和蓝色。在图11D中，粗略的彩色图案被表征为绿色范围内的两种不同彩色光响应(用G和E表示)的棋盘与红色和蓝色(分别用R和B表示)的棋盘交织。图12A提供图11A的全色棋盘形式，图12B提供图11C的全色棋盘形式。一般来说，图11A和11C的最小重复单位被表征为在行和列中通过不同像素(即不同颜色的像素或全色像素)把每个彩色像素与相邻彩色像素分隔开。

到目前为止描述的最小重复单位具有8×8或4×8像素范围。然而，所述最小重复单位可以更小。例如，图13A类似于图4A，但是其中每一个彩色单元是3像素宽×4像素高，并且总体最小重复单位是6像素宽×8像素高。图13B从图13A中去除了两个彩色像素行，从而产生3×3像素的单元以及6×6像素的最小重复单位。图13C进一步去除了两个全色行，从而产生3像素宽×2像素高的单元(其中每个单元包含3个全色像素和3个彩色像素)以及6像素宽×4像素高的最小重复单位。如果用于组合每个单元内的颜色的方案所需要的像素数少于在图4A和其他图案中示出的像素数，则图13A到13C中示出的图案是特别有用的。

图14A示出又一种最小重复单位。图14A中的最小重复单位是6×6像素，其中每个单元包括单个颜色的4像素菱形图案，剩余的5个像素是全色像素。图14A中示出的全色空间采样图案是略微不规则的，从而建议图14B的图案，其具有全色棋盘，并且每个3×3像素单元内的剩余像素被单个颜色占据。

图15A示出一种最小重复单位，其是4×4像素并且包括4个2×2像素单元。注意，每个单元包括两个全色像素和两个同色像素。本发明要求在每一个所述2×2单元内放置两个同色像素，以便于组合每个单元内的彩色像素。图15B类似于图15A，但是采用全色棋盘图案。

早先描述了控制曝光的方法，其中包括在所述图像传感器处电子地控制积分时间。在本发明的上下文中，这种控制曝光的方法提供了一种克服全色像素的光敏度与彩色像素的光敏度之间的差异的附加方式。通过为全色像素提供一个积分时间并且为彩色像素提供不同的积分时间，可以优化每一组像素的总体曝光。一般来说，彩色像素将比全色像素更慢，因此与全色像素相比可以对彩色像素应用更长的积分时间。此外，对于所述彩色像素的每种颜色可以应用不同的积分时间，从而允许针对当前场景捕获条件优化每一种颜色的曝光。例如，来自由白炽灯光源照明的场景的光包含比绿色和蓝色光相对更多的红色光；在这种情况下，可以使得对应于绿色和蓝色像素的积分时间较长，并且使得对应于红色像素的积分时间较短，以便补偿红色光的相对充足。

现在转到图16，图5的最小重复单位被显示为细分成4个单元，一个单元是比最小重复单位具有更少像素的邻接像素子阵列。提供下面的处理所需要的软件被包括在图1的DSP 36中。单元220、224、226和228是单元的例子，其中这些单元分别包含具有绿色、红色、蓝色和绿色光响应的像素。在该例中，单元220包含全色像素和绿色像素，所述绿色像素被标识为像素组222。最终目标是通过组合来自像素组222中的各绿色像素的8个绿色信号来为单元220产生单个绿色信号。取决于所述图像传感器的操作模式，通过在模拟域中组合全部8个绿色信号(例如通过电荷结合)来产生单个绿色信号，或者通过组合取自像素组222的更小像素组来产生多个绿色信号。在图17A中示出单元220的全色像素。在下面的例子中，来自这些全色像素的全部8个信号被单独数字化。在图17B-17E中示出单元220的绿色像素，其中根据如何在模拟域中组合其信号来把所述绿色像素分组在一起。图17B描绘这样的情况：其中全部8个绿色信号被组合来产生对应于单元220(图16)的单个绿色信号。如图17C所示，所述传感器可以产生两个绿色信号，这例如是通过首先组合来自像素G21、G22、G23和G24的信号以及随后组合来自像素G41、G42、G43和G44的信号而实现的。也可以按照其他方式产生两个信号。如图17D所示，该传感器可以首先组合来自像素G21、G22、G41和G42的信号，并且随后组合来自像素G23、G24、G43和G44的信号。如图17E所示，该传感器还可以产生对应于单元220的4个绿色信号，这是通过组合4对信号实现的，例如组合像素G21与G22、随后组合G23与G24、随后组合G41与G42以及最终组合G43与G44。很明显，存在用以组合单元220(图16)内的各对绿色信号的许多附加方式。如果所述传感器根本不组合，则对于单元220单独地报告全部8个绿色信号。因此，在单元220的情况下，该传感器可以对于单元220产生1个、2个、4个或8个绿色值并且按照不同方式产生所述值，这取决于其操作模式。

对于单元224、226和228(图16)，取决于所述传感器的操作模式，由该传感器产生类似的彩色信号。对应于单元224、226和228的彩色信号分别是红色、蓝色和绿色。

返回单元220的情况，不管对于该单元数字化多少信号，本发明的图像处理算法进一步组合数字化的绿色值，以便对于该单元产生单个绿色值。获得单个绿色值的一种方式是对于为单元220产生的所有数字化的绿色值求平均。如果一个单元包含具有不同光响应的彩色像素，则该单元内的所有彩色数据都被类似地组合，从而使得对于该单元内所表示的每种彩色光响应存在单个值。

重要的是在关于捕获未经处理的图像数据的原始传感器中的各像素的颜色值与关于该原始传感器内的各单元的颜色值之间进行区分。这两种类型的颜色值都被用来产生彩色图像，但是所得到的彩色图像具有不同分辨率。具有与原始传感器中的各像素相关联的像素值的图像被称作高分辨率图像，而具有与原始传感器中的各单元相关联的像素值的图像被称作低分辨率图像。

现在转到图18，其中示出数字信号处理器块36(图1)从数据总线30(图1)接收所捕获的未经处理的图像数据。所述未经处理的图像数据被传递到低分辨率部分色块202和高分辨率全色块204。在图5和图16中已经示出对应于图像传感器的最小重复单位的一个例子。在单元220(图16)的情况下，所捕获的未经处理的图像数据包括由图17A所示的各单独全色像素产生的全色数据。此外，对于单元220(图16)还包括一个或多个绿色(颜色)值，例如来自图17B-E中示出的组合。

在低分辨率部分色块202(图18)中，从所捕获的未经处理的图像数据产生部分色图像，所述部分色图像是其中每个像素具有至少一种颜色值并且每个像素也缺失至少一种颜色值的彩色图像。取决于所述传感器的操作模式，所捕获的未经处理的图像数据包含由每个单元内的各彩色像素产生的一定数目的颜色值。在低分辨率部分色块202内，对于在所述单元内所表示的每一种颜色把这些颜色值减少到单个值。作为一个例子，对于单元220(图16)产生单个绿色颜色值。同样，对于单元224、226和228分别产生单个红色、蓝色和绿色颜色值。

低分辨率部分色块202按照类似的方式处理每个单元，从而得到一个颜色值阵列，其中的每个颜色值对应于一个单元。由于所得到的图像阵列是基于原始传感器中的各单元而不是各像素，因此它在每个维度上都是原始捕获的未经处理的图像数据阵列的四分之一。由于所得到的阵列是基于各单元并且由于每个像素具有一些而不是全部颜色值，因此所得到的图像是低分辨率部分色图像。此时，所述低分辨率部分色图像是色平衡的。

现在看高分辨率全色块204，如图16中所示使用相同的未经处理的图像数据，不过将仅仅使用全色值(图17A)。这次的任务是通过估计在尚不具有全色值的像素处的全色值来插值完整的高分辨率全色图像。在单元220(图16)的情况下，必须对于像素组222(图16)中的绿色像素估计全色值。用以估计缺失的全色值的一种简单方式是进行垂直求平均。因此，例如可以如下估计在像素22处的全色值：

P22＝(P12+P32)/2

还可以使用自适应方法。例如，一种自适应方法是利用图17A中示出的全色值来计算三个梯度值并且取其绝对值：

SCLAS＝ABS(P31-P13)

VCLAS＝ABS(P32-P12)

BCLAS＝ABS(P33-P11)

同样，计算三个预测器值：

SPRED＝(P31+P13)/2

VPRED＝(P32+P12)/2

BPRED＝(P33+P11)/2

随后，把P22设置成等于与最小分类器值相对应的预测器。在相等的情况下，把P22设置成等于所指示的预测器的平均值。在整个图像上继续所述全色插值，而不管单元边界。当高分辨率全色块204的处理完成时，所得到的数字全色图像的尺寸与原始捕获的未经处理的图像相同，这使其是高分辨率全色图像。

低分辨率全色块206接收由块204产生的高分辨率全色图像阵列，并且生成具有与由块202产生的低分辨率部分色图像相同的尺寸的低分辨率全色图像阵列。通过在给定单元内对于为具有彩色滤光器的那些像素所估计的全色值求平均来获得每一个低分辨率全色值。在单元220(图16)的情况下，先前对于像素组222(图16)中的各绿色像素所估计的高分辨率全色值现在被平均在一起，以便产生对应于该单元的单个低分辨率全色值。同样，利用在具有红色滤光器的像素处估计的高分辨率全色值来为单元224计算单个低分辨率全色值。按照这种方式，每个单元最后都具有单个低分辨率全色值。

低分辨率色差块208接收来自块202的低分辨率部分色图像和来自块206的低分辨率全色阵列。随后通过在所述低分辨率全色图像的指导下对所述低分辨率部分色图像进行彩色插值而形成低分辨率中间色图像。下面将详细讨论的彩色插值算法的确切性质取决于使用哪一种像素光响应图案来捕获所述原始未经处理的图像数据。

在形成所述低分辨率中间色图像之后对其进行颜色校正。一旦对所述低分辨率中间色图像进行了颜色校正，就通过从每一个低分辨率色平面中单独减去所述低分辨率全色图像来计算低分辨率色差图像。高分辨率色差块210接收来自块208的低分辨率色差图像，并且利用双线性插值对该低分辨率色差图像进行上采样，以便匹配原始未经处理的图像数据的尺寸。其结果是高分辨率色差图像，其具有与由块204产生的高分辨率全色图像相同的尺寸。

高分辨率最终图像块212接收来自块210的高分辨率色差图像和来自块204的高分辨率全色图像。随后通过把该高分辨率全色图像加到每个高分辨率色差平面上而形成高分辨率最终彩色图像。随后可以对所得到的该高分辨率最终彩色图像进行进一步处理。例如，它被存储在DSP存储器块32(图1)中，并且随后被锐化及压缩，以便存储在存储卡块64(图1)上。

图4A-D、8A、9、10A、13A-C、14A-B和15A-B中示出的传感器滤光器图案具有最小重复单位，从而使得在块202中产生的所得到的低分辨率部分色图像对于彩色滤光器展现出重复Bayer图案：

G R

B G

除了由所述低分辨率部分色图像给出的单个颜色值之外，每个单元还具有由所述低分辨率全色图像给出的全色值。

考虑到Bayer图案存在于所述低分辨率部分色图像中的情况，现在可以更详细地描述低分辨率色差块208(图18)内的颜色插值任务。颜色插值开始于在尚不具有绿色值的像素处插值绿色值，其在图19A中被显示为像素234。被显示为像素230、232、236和238的4个相邻像素都具有绿色值，并且它们还都具有全色值。中心像素234具有全色值，但是不具有绿色值(如问号所示)。

第一步是计算两个分类器值，第一个是关于水平方向，第二个是关于垂直方向：

HCLAS＝ABS(P4-P2)+ABS(2^*P3-P2-P4)

VCLAS＝ABS(P5-P1)+ABS(2^*P3-P1-P5)

随后，计算两个预测器值，第一个是关于水平方向，第二个是关于垂直方向：

HPRED＝(G4+G2)/2+(2^*P3-P2-P4)/2

VPRED＝(G5+G1)/2+(2^*P3-P1-P5)/2

最后，令THRESH是经验地确定的阈值，则可以如下自适应地计算缺失值G3：

IF MAX(HCLAS，VCLAS)＜THRESH

G3＝(HPRED+VPRED)/2

ELSEIF VCLAS＜HCLAS

G3＝VPRED

ELSE

G3＝HPRED

END

因此，如果全部两个分类器都小于所述阈值，则对于G3计算两个预测器值的平均值。如果不是，则根据哪个分类器HCLAS或VCLAS更小来使用HPRED或VPRED。

一旦估计出所有缺失的绿色值，就对缺失的红色和蓝色值进行插值。如图19B中所示，像素242缺失红色值，但是其两个水平相邻像素240和244分别具有红色值R2和R4。所有这三个像素都具有绿色值。在这些条件下，如下计算对于像素242的红色值(R3)的估计：

R3＝(R4+R2)/2+(2^*G3-G2-G4)/2

在类似的条件下按照类似的方式计算缺失的蓝色值。此时，仍然缺失红色和蓝色值的仅有像素是那些需要垂直插值的像素。如图19C中所示，像素252缺失红色值，并且其两个垂直相邻像素250和254分别具有红色值R1和R5。在这些条件下，如下计算对于像素252的红色值(R3)的估计：

R3＝(R5+R1)/2+(2^*G3-G1-G5)/2

在类似的条件下按照类似的方式计算缺失的蓝色值。这就完成了对所述低分辨率部分色图像的插值，并且其结果是低分辨率中间色图像。如前所述，现在可以通过从每一个色平面(在刚刚讨论的例子中是红色、绿色和蓝色)中减去所述低分辨率全色值来计算低分辨率色差。

并不是所有传感器都产生展现出颜色值的重复Bayer图案的低分辨率部分色图像。例如，图11A中示出的传感器图案决定每个单元接收两种颜色值：绿色和红色，或者绿色和蓝色。因此，在本例中，低分辨率色差块208(图18)内的颜色插值任务将是对于每个像素估计红色缺失值或蓝色缺失值。参考图19D，其中示出的像素264具有绿色值(G3)但是不具有红色值(R3)。4个相邻像素260、262、266和268具有绿色值和红色值。对于像素264(图19D)插值红色值的方法类似于用来对于像素234(图19A)插值绿色值的方法。

HCLAS＝ABS(G4-G2)+ABS(2^*G3-G2-G4)

VCLAS＝ABS(G5-G1)+ABS(2^*G3-G1-G5)

HPRED＝(R4+R2)/2+(2^*G3-G2-G4)/2

VPRED＝(R5+R1)/2+(2^*G3-G1-G5)/2

IF MAX(HCLAS，VCLAS)＜THRESH

R3＝(HPRED+VPRED)/2

ELSEIF VCLAS＜HCLAS

R3＝VPRED

ELSE

R3＝HPRED

END

因此，如果全部两个分类器都小于所述阈值，则对于R3计算两个预测器值的平均值。如果不是，则根据哪个分类器HCLAS或VCLAS更小来使用HPRED或VPRED。

使用蓝色值替换红色值以完全相同的方式插值缺失的蓝色值。一旦完成，就产生了低分辨率中间色图像。从这以后就如前所述地计算所述低分辨率色差。

部件列表

10 来自对象场景的光

11 成像级

12 透镜

13 滤光器组件

14 虹膜

16 亮度传感器

18 快门

20 图像传感器

22 模拟信号处理器

24 模数(A/D)转换器

26 定时发生器

28 图像传感器级

30 数字信号处理器(DSP)总线

32 数字信号处理器(DSP)存储器

36 数字信号处理器(DSP)

38 处理级

40 曝光控制器

50 系统控制器

52 系统控制器总线

54 程序存储器

56 系统存储器

57 主机接口

60 存储卡接口

62 存储卡插槽

64 存储卡

68 用户控制和状态接口

70 取景器显示器

72 曝光显示器

74 用户输入端

76 状态显示器

80 视频编码器

82 显示控制器

88 图像显示器

100 Bayer图案的最小重复单位

102 Bayer图案的非最小的重复单位

112 传感器的未滤光光谱光响应曲线

114 传感器的红色光响应曲线

116 传感器的绿色光响应曲线

118 传感器的蓝色光响应曲线

120 第一绿色单元

122 红色单元

124 蓝色单元

126 第二绿色单元

202 低分辨率部分色块

204 高分辨率全色块

206 低分辨率全色块

208 低分辨率色差块

210 高分辨率色差块

212 高分辨率最终图像块

220 第一绿色单元

222 第一绿色单元中的绿色像素

224 红色单元

226 蓝色单元

228 第二绿色单元

230 用于插值缺失的绿色值的上像素值

232 用于插值缺失的绿色值的左像素值

234 缺失绿色值的像素

236 用于插值缺失的绿色值的右像素值

238 用于插值缺失的绿色值的下像素值

240 用于插值缺失的红色值的左像素值

242 缺失红色值的像素

244 用于插值缺失的红色值的右像素值

250 用于插值缺失的红色值的上像素值

252 缺失红色值的像素

254 用于插值缺失的红色值的下像素值

260 用于插值缺失的红色值的上像素值

262 用于插值缺失的红色值的左像素值

264 缺失红色值的像素

266 用于插值缺失的红色值的右像素值

268 用于插值缺失的红色值的下像素值

Claims

1、一种用于在变化照明条件下捕获场景图像的方法，包括：

a)提供具有全色和彩色像素的图像传感器；

c)利用调节后的曝光，通过该图像传感器来捕获场景。

2、权利要求1所述的方法，还包括：

d)从所述捕获的图像提供数字全色图像和中间数字彩色图像；以及

e)使用所述数字全色图像和所述中间数字彩色图像来提供最终数字彩色图像。

3、权利要求1所述的方法，其中，所述图像捕获曝光被自动控制。

4、权利要求1所述的方法，其中，所述图像捕获曝光被人工控制。

5、一种用于在变化照明条件下捕获场景图像的方法，包括：

a)提供具有二维像素阵列的图像传感器，所述二维像素阵列包括第一和第二组像素，第一组像素当中的像素的光谱光响应窄于第二组像素当中的像素，第一组像素具有其光谱光响应对应于一组至少两种颜色的各单独像素，其中第一和第二组像素的放置定义了具有最小重复单位的图案，该最小重复单位包括至少12个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定颜色的至少两个像素以及从第二组像素中选择的多个像素，其被布置成允许再现在不同照明条件下所捕获的彩色图像；

b)用户选择优选的场景模式，并且根据照明条件和所选场景模式来调节图像捕获曝光；以及

c)利用调节后的曝光，通过该图像传感器来捕获场景。

6、权利要求5所述的方法，还包括：

7、权利要求5所述的方法，其中，所述图像捕获曝光被自动控制。

8、权利要求5所述的方法，其中，所述图像捕获曝光被人工控制。

9、权利要求5所述的方法，其中，所述图像传感器是电荷耦合器件或有源像素传感器。

10、一种用于在变化照明条件下捕获场景图像的方法，包括：

b)从所述场景接收光，并且沿着光路把这种接收的光聚焦到该图像传感器上；

c)产生表示场景光强度的信号；以及

d)响应于所述信号来调节该图像传感器的曝光。

11、权利要求10所述的方法，其中，所述图像传感器是电荷耦合器件或有源像素传感器。

12、权利要求10所述的方法，其中，步骤d)包括：当所述场景光强度高于用于限制被聚焦到所述传感器上的光量的预定水平时，把至少一个中性密度滤光器定位在所述光路中。

13、权利要求10所述的方法，其中，步骤d)包括：把至少一个色平衡滤光器定位在所述光路中。

14、权利要求10所述的方法，其中，步骤d)包括：改变所述图像捕获设备的光圈，以便改变所述图像传感器上的曝光。

15、权利要求10所述的方法，其中，步骤d)包括：改变图像传感器像素的积分时间，以便改变所述图像传感器上的曝光。

16、权利要求15所述的方法，还包括机械快门，用于控制所述图像传感器中的像素的积分时间。

17、权利要求15所述的方法，还包括定时发生器，用于电子地控制所述图像传感器中的像素的积分时间。

18、权利要求10所述的方法，其中，步骤d)包括：改变图像传感器像素的积分时间，以便为不同像素提供至少两个单独的积分时间。

19、权利要求18所述的方法，其中，相对于另一组来改变所述第一组或第二组像素的积分时间。

20、权利要求18所述的方法，其中，相对于(多种)其他颜色的像素的积分时间来改变所述第一组像素内的每种颜色的像素的积分时间。

21、一种用于以单个图像捕获或图像流捕获来在场景的变化照明条件下捕获场景的方法，包括：

a)提供在第一条件下有效地捕获场景的单个图像并且在第二条件下有效地从该场景捕获图像流的图像传感器，该图像传感器具有二维像素阵列，所述二维像素阵列包括第一和第二组像素，第一组像素当中的像素的光谱光响应窄于第二组像素当中的像素，第一组像素具有其光谱光响应对应于一组至少两种颜色的各单独像素，其中第一和第二组像素的放置定义了具有最小重复单位的图案，该最小重复单位包括至少12个像素，该最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定颜色的至少两个像素以及从第二组像素中选择的多个像素，其被布置成允许再现在不同照明条件下所捕获的彩色图像；

b)沿着路径从该场景接收光，并且把来自该场景的光聚焦到所述图像传感器上；以及

c)用户选择该图像传感器来捕获单个图像或捕获图像流。