CN101233763A

CN101233763A - 处理彩色和全色像素

Info

Publication number: CN101233763A
Application number: CNA2006800276246A
Authority: CN
Inventors: J·F·小哈米尔顿; J·T·坎普顿
Original assignee: Eastman Kodak Co
Current assignee: Omnivision Technologies Inc
Priority date: 2005-07-28
Filing date: 2006-07-20
Publication date: 2008-07-30
Anticipated expiration: 2026-07-20
Also published as: US20070024879A1; US8274715B2; JP2009504012A; WO2007015982A3; JP4971323B2; US20130016250A1; CN101233763B; WO2007015982A2; US8711452B2; EP1908301B1; EP1908301A2

Abstract

一种用于形成最终数字彩色图像的方法，包括使用具有与至少两个色彩光响应对应的全色像素和彩色像素的图像传感器来捕获图像；从所捕获的图像中提供数字全色图像和中间数字彩色图像；以及使用该数字全色图像和该中间数字彩色图像来提供最终数字彩色图像。

Description

处理彩色和全色像素

技术领域

本发明涉及对具有彩色和全色像素的数字图像进行处理。

背景技术

电子成像系统依靠电子图像传感器来建立可视图像的电子显示。这样的电子图像传感器的例子包括电荷耦合装置(CCD)图像传感器和有源像素传感器(APS)装置(因为能够在互补金属氧化物半导体处理中制造APS装置，所以APS装置经常被叫做CMOS传感器)。典型地，这些图像传感器包括多个光敏像素，经常以行和列的规则图案进行排列。为了捕获彩色图像，在像素图案上典型地制造滤波器的图案，其所带有的不同滤波器材料被用于使单独的像素仅对部分可见光谱感光。滤色器必定减少了到达每个像素的光量，从而减少了每个像素的光敏度。需要持续提高光敏度或拍摄速度，在较短的曝光时间内，电子彩色图像传感器允许图像在较低光等级下被捕获或允许在较高光等级下被捕获。

图像传感器即可以是线性的也可以是两维的。通常，这些传感器具有两种不同类型的应用。两维传感器典型地适用于诸如数码相机、蜂窝电话和其他应用的图像捕获设备。线性传感器经常用于扫描文档。无论哪种情况，当应用滤色器时，图像传感器只有下降的灵敏度。

由Eastman Kodak公司制造的KLI-4104线性图像传感器包括四个线性的、单个像素宽的像素阵列，其具有应用到三个阵列上的滤色器以使每个阵列整体上对红色、绿色或蓝色感光；进一步地，三个彩色阵列具有较多的像素来补偿由于滤色器光感应度的减少，以及第四格阵列具有较少像素来捕获高分辨率单色图像。当使用图像传感器捕获图像时，该图像表现为连同三个低分辨率图像一起的高分辨率、高摄影灵敏度的单色图像，它们一般具有相同的拍摄灵敏度以及三个图像中的每一个对应来自图像的红色、绿色或蓝色光；因此，在电子图像中的每个点包括单色值、红色值、绿色值和蓝色值。然而，因为这是线性图像传感器，它需要在图像传感器和图像之间的相对机械运动，以便通过四个线性像素阵列扫描图像。

还存在本领域中公知的电子成像系统，其在Akira Muramatsu的美国专利4,823,186中被描述，其包括两个传感器，其中每个传感器包括两维像素阵列，但是一个传感器不具有滤色器，以及另一个传感器包括在像素中的滤色器图案，以及带有光束分裂器来向图像传感器提供图像。因为彩色传感器具有应用在其上的滤色器图案，所以彩色传感器中的每个像素仅仅提供单一色彩。当用该系统捕获图像时，电子图像中的每个点包括单色值和一个彩色值，以及彩色图像一定具有在从邻近色彩内插的每个像素位置上丢失的色彩。虽然该系统提高了单个传统图像传感器的光感度，但是该系统的整体复杂度、大小和成本比需要两个传感器和光速分裂器的系统要大。进一步地，光束分裂器将到达每个图像传感器的光量减少了1/2，限制了拍摄速度的提高。

除了上面提到的线性图像传感器之外，本领域中公知的还有具有两维像素阵列的图像传感器，其中该像素包括不具有应用到其上的滤色器的像素。例如，参见Sato等人的美国专利4,390,895，Yamagami等人的美国专利5,323,233以及Gindele等人的美国专利6,476,865。在每个所引证的专利中，未滤波或单色像素的感光度比彩色像素要稍微高一些，需要增益的应用以便匹配来自像素阵列的彩色和全色信号。增加增益增加了噪声和信号，导致得到的图像的信噪比降低。在美国专利申请2003/0210332中的框架(frame)公开了具有多个未滤波像素的像素，但是彩色像素遭遇如上面所提到的相同感光度。

当在低光线条件下捕获图象时有效处理提供了高分辨率彩色图像。

发明内容

本发明涉及一种用于处理具有彩色和全色像素的数字图像的改进方法。用于生成具有彩色和全色像素的数字图像的线性或两维图像阵列传感器可以捕获这些像素。

简单的概括，根据本发明的一个方面，本发明提出了一种用于形成最终数字彩色图像的方法，包括：

a)使用具有与至少两个色彩光响应对应的全色像素和彩色像素的图像传感器来捕获图像；

b)从所捕获的图像中提供数字全色图像和中间数字彩色图像；以及

c)使用该数字全色图像和该中间数字彩色图像来提供最终数字彩色图像。

通过由数字图像形成数字全色图像和中间数字彩色图像，提供改进的最终数字彩色图像。全色图像能够具有高分辨率，以及中间数字彩色图像能够具有较低分辨率。当改变光线条件的情况下捕获图像时，所得到的最终图像具有改善的质量。

根据本发明处理具有彩色和全色像素的数字图像特别适用于在低水平照明条件下捕获的数字图像，其中这样的低水平照明条件是低场景照明、短曝光时间、小光圈或对光到达传感器的其它限制的结果。所述处理具有广泛的应用以及多种类型的图像捕获装置能够有效地使用该处理。

根据下面优选实施例的详细描述和所附权利要求以及通过参考附图，本发明的这些和其他方面、目的、特征和优点将更加容易明白和理解。

附图说明

图1是传统数码相机系统的框图，它能够应用传统的传感器和处理方法或本发明的传感器和处理方法；

图2(现有技术)是传统的Bayer滤色器阵列图案，示出了最小重复单元和非最小重复单元；

图3提供了典型的红、绿、蓝像素的光谱量化效率曲线，以及较宽的光谱全色量化效率，全部与红外线截断滤波器的传输特性相乘；

图4A-D提供用于本发明的滤色器阵列图案的几种变型的最小重复单元，其具有与被排列成行或列的彩色光响应相同的彩色像素；

图5示出了图4A中的最小重复单元的单元格(cell)结构；

图6A是用于图4A的内插过的全色图像；

图6B是与图4A和图5中的单元格对应的低分辨率彩色图像；

图7A-C示出了组合图4A的像素的几种方式；

图8A-D示出了具有彩色像素的图4A的滤色器阵列图案，该彩色像素具有可替换的彩色光响应特性，包括四个颜色替换以及青色、品红和黄色替换；

图9提供了本发明的替换滤色器阵列的最小重复单元，在其中全色像素在对角线上被排列；

图10A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元，在其中全色像素形成网格，彩色像素嵌入到该网格中；

图11A-D提供了本发明的替换滤色器阵列的两种变型的最小重复单元和平铺排列，在其中每个单元格有两种色彩；

图12A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元和平铺排列，在其中每个单元格有两种色彩，以及全色像素在对角线上被排列；

图13A-C提供了图4A的变型，其中最小重复单元小于8×8像素；

图14A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元，在其中最小重复单元是6×6像素；

图15A-B提供了本发明的替换滤色器阵列的两种变型的最小重复单元，在其中最小重复单元是4×4像素；

图16是图4A的最小重复单元，带有每个最小重复单元中各个像素的下标；

图17A-E示出了图16的一个单元格的全色像素和彩色像素，以及将彩色像素进行组合的多种方式；

图18是本发明的处理框图，其示出了用于处理来自本发明的传感器的彩色和全色像素数据的方法；以及

图19A-D说明了本发明的方法，其用于在图18的低分辨率部分彩色图像中内插丢失的色彩。

具体实施方式

因为应用成像装置和用于信号捕获和校正以及曝光控制的相关电路的数字相机是公知的，所以本说明书特别涉及本发明所述的形成其部分或直接与之协作的单元、方法和装置。根据本领域的常识可以选择并非本文特别示出或描述的单元。所描述的实施例的特定方面是以软件形式提供的。对本发明的实施例是有用的、在下面的材料中给出的本发明所示出和描述的系统、并非本文特别示出、描述或建议的软件是传统的，是这些领域的一般技术。

现在回到图1，示出了被示为具体实施本发明的数码相机的图像捕获装置。虽然现在将对数码相机进行解释，但是本发明可以明确地应用于其他类型的图像捕获装置。在所公开的相机中，来自目标场景的光10输入到成像级11，其中由透镜12聚焦该光以在固态成像传感器20上形成图像。图像传感器20将入射光转换为每个图像单元(像素)的电信号。优选实施例的图像传感器20是电荷耦合装置(CCD)类型或有源像素传感器(APS)类型(因为能够用互补金属氧化物半导体工艺制造它们，所以APS装置经常被叫做CMOS传感器)，使用具有像素的二维阵列的其他类型的图像传感器，假设它们采用本发明的图案。本发明也可以使用具有彩色和全色像素的二维阵列的图像传感器20，这将在描述过图1之后在本说明书中稍后变得清楚。在图像传感器20中使用的本发明的彩色和全色像素图案的例子在图4A-D、图8A-D、图9、图10A-B、图11A、图11C、图13A-C、图14A-B和图15A-B示出，虽然在本发明的精神下可以使用其他图案。

到达传感器20的光量被光圈块14调整，其可以改变孔径和包含插入到光路中的一个或多个中性密度(ND)滤光片的ND滤光片块(filter block)13。还调整全部光级是打开快门块18的时间。曝光控制器块40响应亮度传感器块16测量的场景中可用的光量并控制这些调整功能。

特定相机配置的该描述是本领域技术人员熟悉的，并且多种变型和附加特征是现有的。例如，添加自动聚焦系统，或者该透镜是可分离和可交换的。应当明白，本发明可以应用到任何类型的数码相机，其中通过替换部件来提供类似的功能。例如，数码相机是一种相对简单的点击数码相机，其中快门18是相对简单的可活动的叶片式快门等，而不是更复杂的聚焦平面布置。本发明还可以实施在包含在诸如移动电话和自动车辆的非相机装置里的成像部件上。

来自图像传感器20的模拟信号经过模拟信号处理器处理，并施加到模数(A/D)转换器24。定时生成器26生成各种时钟信号来选择行和像素以及同步模拟信号处理器22和A/D转换器24的操作。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时生成器26。图像传感器级28的部件是单独制造的集成电路，或它们可以被制造为单一的集成电路，其通常与CMOS图像传感器一起制造。从A/D转换器24的数字像素值所得到的流被存储在与数字信号处理器(DSP)36相关联的存储器32中。

数字信号处理器36是本实施例中除了系统控制器50和曝光控制器40之外的三个处理器或控制器之一。虽然在多个控制器和处理器之间划分相机功能控制是典型的，但是在不影响相机的功能操作和本发明应用的情况下可以以多种方式来组合这些控制器或处理器。这些控制器或处理器可以包含一个或多个数字信号处理器装置、微控制器、可编程逻辑装置或其他数字逻辑电路。虽然这些控制器或处理器的组合已经被描述，但是应当注意，一个控制器或处理器被指定为执行所有需要的功能。所有这些变型可以执行相同的功能并落在本发明的范围内，以及术语“处理级”根据需要来使用以在一个短语内包含该功能性的全部，如在图1中的处理级38中。

在所说明的实施例中，DSP36根据永久存储在程序存储器54并复制到存储器32中用于在图像捕获期间执行的软件程序来操作存储器32中的数字图像数据。DSP36执行实施图18所示成像处理所需的软件。存储器32包括任何类型的随机存取存储器，诸如SDRAM。总线30包括地址和数据信号的路径，其将DSP 36连接到其相关的存储器32、A/D转换器24和其他相关装置。

系统控制器50基于存储在程序存储器54中的软件程序来控制相机的全部操作，存储器54可以包括快闪EEPROM或其他非易失性存储器。该存储器还可以用来存储图像传感器校准数据，用户设定选择和其他数据，它们必须在相机关闭时能够得到保存。通过命令曝光控制器40操作前述透镜12、ND滤光片13、光圈14和快门18，命令定时生成器26操作图像传感器20和相关单元以及命令DSP36处理所捕获的图像数据，系统控制器50控制图像捕获的顺序。图像被捕获和处理之后，存储在存储器32中的最终图像文件通过接口57被传送到主机，存储在可移动存储卡64或其他存储装置中并在图像显示器88上显示给用户。

总线52包括地址、数据和控制信号的路径，并将系统控制器50连接到DSP36、程序存储器54、系统存储器56、主机接口56、存储卡接口60和其他相关装置上。主机接口57提供高速连接给个人计算机(PC)或其他主机用于图像数据的传输，该图像数据用于显示、存储、操作或打印。该接口是IEEE1394或USB2.0串行接口或任何其他合适的数字接口。存储卡64典型地是一种插入到插槽中并通过存储卡接口60连接到系统控制器50的致密闪存(CF)卡。可用的其他类型的存储器包括但不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。

处理过的图像被复制到系统存储器56中的显示缓冲器，并通过视频编码器80连续读出以便生成视频信号。该信号被直接从相机输出以便在外部监视器上显示或通过显示控制器82处理并在图像显示器88上呈现。该显示器典型地是有源矩阵彩色液晶显示器(LCD)，然而也可以使用其他类型的显示器。

包括取景显示器70、曝光显示器72、状态显示器76和图像显示器88和用户输入74的所有或任何组合的用户接口由在曝光控制器40和系统控制器50上执行的软件程序的组合来控制。用户输入74典型地包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏的某种组合。曝光控制器40操作光线测量、曝光模式、自动聚焦和其他曝光功能。该系统控制器50管理在一个或多个显示器上呈现的图形用户界面(GUI)，例如在图像显示器88上。该GUI典型地包括用于生成各种选项选择和检查所捕获图像的预览模式的菜单。

曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)和曝光指数或ISO感光度标定值的用户输入，并引导透镜和快门从而用于随后的捕获。亮度传感器16被用于测量场景的亮度并提供曝光表功能用于用户指定什么时候手动设定ISO感光度标定值、孔径和快门速度。在该情况下，当用户改变一个或多个设置时，在取景显示器70上呈现的曝光表标志告诉用户图像将超过或曝光不足到什么程度。在自动曝光模式下，用户改变一个设置，并且曝光控制器40自动变更其他的设置以便维持正确的曝光，例如，对于给定的ISO感光度标定值，当用户减小透镜孔径时，曝光控制器40自动增加曝光时间以便维持相同的整体曝光。

ISO感光度标定值是数码静拍相机(digital still camera)的重要属性。曝光时间、透镜孔径、透镜透射比、场景照明的等级和谱分布以及场景反射率确定数码静拍相机的曝光等级。当使用不充足的曝光捕获来自数码静拍相机的图像时，适当的色调再现通常可以通过增加电子或数字增益来得以维持，但是图像将包含不可接受的噪声量。

当增加曝光时，增益减小，从而图像噪声一般可以被减小到可接受的程度。如果过分增加曝光，那么在图像的亮区域中得到的信号超过图像传感器或相机信号处理的最大信号等级能力。这将引起图像高亮被削减(clipped)以形成均匀的亮区域，或图像的周围区域变亮。在设置合适的曝光中引导用户是重要的。ISO感光度标定值企图充当这样的引导。为了让拍摄者容易理解，数码静拍相机的ISO感光度标定值应当直接涉及照相胶片相机的ISO感光度标定值。例如，如果数码静拍相机具有ISO 200的ISO感光度标定值，然后相同的曝光时间和孔径对于胶片/处理系统设定的ISO 200来说是合适的。

ISO感光度标定值企图与胶片ISO感光度标定值进行协调。然而，电子和基于胶片的成像系统之间存在差异，这排除了精确的等效性。数码静拍相机可以包括可变增益，以及可以在图像数据被捕获之后提供数字处理，使得能够在相机曝光范围内实现色调再现。因此，数码静拍相机可以具有感光度标定值范围。该范围被定义为ISO感光度宽容度(speed latitude)。为了避免混淆，该信号值被设置为固有的ISO感光度标定值，且ISO感光度宽容度上限和下限表示该感光度范围，即包括有效感光度标定值的范围，其不同于固有的ISO感光度标定值。需要注意，固有的ISO感光度是数值，其是根据在数码静拍相机的聚焦平面处提供的曝光计算的，以便生成指定的相机输出信号特性。固有的感光度通常是曝光指数值，其生成给定相机系统的一般场景的峰值图像质量，其中曝光指数是数值，其与图像传感器提供的曝光成反比。

前面对数码相机的描述是本领域技术人员所熟悉的。显而易见的是，存在该实施例的多种变型，其是可以的，并且被选择以便减少成本、增加特征或提高相机的性能。接下来的描述将详细公开本发明的用于捕获图像的相机操作。虽然本说明书参考的是数码相机，但是应当明白，本发明可以应用到具有彩色和全色像素的图像传感器的任何类型的图像捕获装置。

如图1所示的图像传感器典型地包括在硅衬底上制造的光敏像素的两维阵列，其提供将每个像素处的入射光转换为被测量的电信号的方式。当传感器被暴露于光时，在每个像素的电子结构中产生并捕获自由电子。在某段时间内捕获这些自由电子以及然后测量所捕获的电子数量，或者测量自由电子产生的速率能够测量每个像素处的光等级。在以往的情况中，累计电荷从像素阵列中移出到如在电荷耦合装置(CCD)中的电荷至电压测量电路，或每个像素附近的区域能够包含如在有源像素传感器(APS或CMOS传感器)中的电荷至电压测量电路的元件。

在下面的描述中无论什么时候一般的参考文献都被做成图像传感器，其被理解为图1的图像传感器20的代表。应当进一步明白，在该说明书中公开的本发明的图像传感器结构和像素图案的所有实例及其等效物被用于图像传感器20。

在图像传感器的情况下，像素(“图像单元”的缩写)指的是与光感测区域相关联的离散光感测区域和电荷偏移或电荷测量电路。在数字彩色图像的情况下，术语像素通常指的是在具有相关彩色值的图像中的特定位置。

为了生成彩色图像，在图像传感器中的像素阵列典型地具有置于其上的滤色器图案。图2示出了通常所使用的红、绿、蓝滤色器的图案。发明人Bryce Bayer在US 3,971,065中公开之后，该特定的图案通常被称为Bayer滤色器阵列(CFA)。该图案被有效地使用在具有两维彩色像素阵列的图像传感器中。因此，每个像素具有特定的彩色光响应，在这种情况下，其对红、绿或蓝光是半睡眠感应。彩色光响应的其他有效变型是对品红、黄色或青色光半睡眠感应。在每个情况下，特定的彩色光响应对可见光谱中的某一部分具有高感光度，而同时对可见光谱中的其他部分具有低感光度。术语彩色像素指的是具有彩色光响应的像素。

被选择用在传感器中的彩色光响应组通常具有三个颜色，如BayerCFA中所示，但是它也可以包括四个或更多颜色。如本文中所使用的，全色光响应指的是具有比在所选择的彩色光响应组中的那些光谱感光度要宽的光谱感光度的光响应。术语全色像素指的是具有全色光响应的像素。虽然该全色像素通常具有比彩色光响应组要宽的光谱感光度，但是每个全色像素可以具有相关的滤波器。这样的滤波器可以是中性密度滤光片或滤色器。

当彩色和全色像素的图案在图像传感器的面上时，每个这样的图案具有重复单元，其是用作基本构建块的像素的连续子阵列。通过将重复单元的多个副本(copy)并置来生成所有的传感器图案。沿对角线方向以及水平方向和垂直方向来设置重复单元的该多个副本的并置。

最小的重复单元是其他的重复单元都不具有更少的像素的重复单元。例如，图2中的CFA包括最小的重复单元，它是如图2中的像素框100所示的2像素×2像素。该最小的重复单元的多个副本被平铺以便覆盖图像传感器中的整个像素阵列。最小的重复单元与右上角的绿色像素一起示出，但是通过将粗线框区域向右移动一个像素、向下移动一个像素，或向右下对角地移动一个像素，三个替换的最小重复单元能够被容易地区分。虽然像素框102是重复单元，但是它不是最小重复单元，因为像素框100是重复单元，并且框100具有比框102更少的像素。

使用具有图2所示的两维阵列的CFA的图像传感器捕获的图像仅仅在每个像素处具有一个颜色。为了生成全彩色图像，需要用于在每个像素处外推或内插失去的颜色的多个技术。这些CFA内插技术是本领域公知的，并且参考下面的专利：US5506619、US5629734和US5652621。

图3示出在典型的相机应用中带有红、绿和蓝色滤波器的像素的相关光谱感光度。图3中的X轴表示以纳米为单位的光波长，以及Y轴表示效率。在图3中，曲线110表示典型的滤波器的光谱传输特性，其用于阻塞对到达图像传感器的红外线光和紫外线光。需要这样的滤波器，因为用于图像传感器的滤色器典型地不阻塞红外线光，因此该像素不能区分红外线光和位于那些相关滤色器通频带中的光。曲线110所示的红外线阻塞特性防止红外线光掺杂在可见光信号中。用于应用了红、绿、蓝滤波器的典型硅传感器中的光谱量子效率，即能够被捕获并被转换为可测量的电信号的入射光子的比例，与由曲线110所表示的红外线阻塞滤波器的光谱传输特性相乘以便生成由红色的曲线114、绿色的曲线116和蓝色的曲线118所表示的组合系统量子效率。从这些曲线中知道，每个彩色光响应仅仅对一部分可见光感光。通过对比，没有应用滤色器的同样的硅传感器的光响应由曲线112示出；这是全色光响应的例子。通过将彩色光响应曲线114、116和118与全色光响应曲线112进行比较，应当清楚全色光响应对宽光谱光比任何一个彩色光响应更敏感三到四倍。

通过将包括滤色器的像素与不包括滤色器的像素进行混合，如图3所示的较大的全色感光度允许提供图像传感器的整体感光度。然而，滤色器像素比全色像素敏感度显著更低。在这种情况下，如果全色像素对光线适当地曝光以便来自场景的光强范围覆盖全部的全色像素的可测量范围，那么彩色像素将被显著地曝光不足。因此，有利地调整滤色器像素的感光度以便它们与全色像素一样具有大致相同的感光度。与相关的缩减空间内(inspatial)像素一起增加彩色像素的感光度，例如，通过增加与全色像素对应的彩色像素的大小。

图4A呈现了具有两个组的两维像素阵列。第一组像素的像素具有比第二组像素的像素更窄的光谱光响应。第一组像素包括独立的像素，其涉及与至少两个滤色器相对应的至少两个不同的光谱光响应。这两组像素被混合以便提高传感器的整体感光度。这些在该说明书中变得更清楚，第一和第二组像素的布置限定了包括至少十二个像素的最小重复单元的图案。该最小重复单元包括第一和第二组像素，其被设置成允许在不同照明条件下对所捕获的彩色图像的再现。

图4A所示的完整图案呈现了最小重复单元，其被平铺以便覆盖整个像素阵列。如同图2一样，存在几个其他的最小重复单元，其被用来描述彩色和全色像素的整体布置，但是它们在其特性方面基本上是等价的，并且均是像素的子阵列，该子阵列范围是8像素×8像素。该图案的重要特征是全色和彩色像素的行与被分组在一起的具有相同彩色光响应的像素的彩色行交替。具有相同光响应的像素组连同它们相邻的全色像素中的一些一起被认为形成建立最小重复单元格的四个单元格，单元格是具有比最小重复单元少的像素的连续的像素子阵列。

由图4A中的粗线所描述并由图5的单元格120、122、124和126所示的这四个单元均围起四组4×4像素，其中120表示左上单元格，122表示右上单元格，124表示左下单元格以及126表示右下单元格。四个单元格中的每一个包括具有相同彩色光响应的八个全色像素和八个彩色像素。在单元格中的彩色像素被组合来表示整个单元格的颜色。因此，图5中的单元格120被认为是绿色单元格，单元格122被认为是红色单元格等。每个单元格包括至少两个相同色彩的像素，从而允许相同色彩的像素被组合来克服彩色像素和全色像素之间的感光度差异。

在具有四个非重叠单元格的最小重复单元的情形下，每个单元格具有两个相同色彩的像素和两个全色像素，应当明白，最小重复单元包括十六个像素。在具有三个非重叠单元格的最小重复单元的情形下，每个单元格具有两个相同色彩的像素和两个全色像素，应当明白，最小重复单元包括十二个像素。

根据本发明，图4A的最小重复单元，当根据图5中所标识的单元格结构来考虑时，能够呈现为高分辨率全色图像和低分辨率Bayer图案彩色图像的组合，其被排列为允许在不同的照明条件下对所捕获的彩色图像的再现。Bayer图案图像的独立单元格在相应的单元格中呈现为彩色像素的组合。第一组像素定义了低分辨率滤色器阵列图像以及第二组像素定义了高分辨率的全色图像。参见图6A和图6B。图6A呈现了对应图4A的高分辨率全色图像，包括来自图4A的全色像素P和内插的全色像素P′；以及图6B呈现了低分辨率的Bayer图案彩色图像，其中R′、G′和B′表示为图5框住的每一个单元格，该单元格色彩关联着单元格内组合的彩色像素。

在下面的讨论中，图4B-D，8A-D，9，10A-B，11A，11C，12A-B，13A-C，14A-B和15A-B中的所有单元格都是由粗线来描述，正如图4A那样。

除了图4A的替换的最小重复单元之外，该图案的每个单元格被旋转90度以生成如图4B所示的图案。这是基本相同的图案，但是它是在垂直方向上具有最高全色采样频率而不是在水平方向上。对使用图4A或图4B的选择依赖于是否分别想要在水平还是垂直方向上具有较高的全色空间采样。然而，应当清楚，建立两个图案那样的最小重复单元的最终单元格对于两个图案来说都生成相同的低分辨率彩色图像。因此，图4A和图4B从色彩角度看是等效的。一般地，图4A和图4B是实施本发明的例子，其具有在行或列上线性排列的全色像素。进一步地，图4A具有单行全色像素，其每一行与相邻行的全色像素被彩色像素行分开；图4B在列方向上具有相同的特性。

图4C还呈现了另一个替换的图4A的最小重复单元，其具有基本相同的单元格颜色特性。然而，图4C示出了由以逐个单元格为基础交错的全色和彩色行。这可以提高垂直全色分辨率。另一个替换的图4A的最小重复单元在图4D中呈现，其中全色和彩色行由列对来交错。这也具有提高垂直全色分辨率的潜力。图4A-D中的所有最小重复单元的特性是两个或更多相同彩色像素的组在行或列上都被并排排列。

图4A-D都具有与单元格相同的彩色结构，所述单元格构成表示低分辨率Bayer图案的最小重复单元。因此，能够看到在本发明的精神下，能够构造多种全色像素和分组彩色像素的排列。

为了增加彩色感光度以便克服全色感光度和彩色感光度之间的不均衡，通过多种方式来组合每个单元格中的彩色像素。例如，在CCD传感器或允许分级的有源像素传感器中组合或分级来自相同的着色像素中的电荷。可替换地，在相同的着色像素中的与测量过的电荷数量对应的电压被均分，例如通过连接并行电容器来把这些电压充电到这些电容器上。在另外的一个方式中，在相同着色像素上的光等级的数字表示被求和或求平均。将来自两个像素的电荷进行组合或分级使信号级加倍，而与采样和读出组合信号相关联的噪声是相同的，从而信噪比增加了两倍，表示组合像素的感光度相应地提高两倍。在求和来自两个像素的光等级数字表示的情况下，得到的信号增加两倍，但是来自读取两个像素的相应噪声正交组合，从而将噪声增加了2的平方根；从而所得到的组合像素的信噪比比未组合的信号增加了2的平方根。类似的分析应用到电压或数字平均化。

单独或组合使用上述用于来自单元格内相同着色像素的组合信号的方式。例如，通过垂直组合，来自分为两组的图4A中的相同着色像素的电荷生成具有图7A所示的组合信号R`、G`和B`的组合像素。在这种情况下，每个R`、G`和B`具有两倍于未组合的像素的感光度的感光度。可替换地，(电压或数字)由分为四组的图4A中的相同着色像素水平地组合测量的值生成具有图7B所示的组合信号R`、G`和B`的组合像素。在这种情况下，因为信号增加了四倍，而噪声增加了2倍，所以每个R`、G`和B`具有两倍于未组合像素的感光度的感光度。在另一个替换组合方案中，垂直组合来自分为两组的图7A所示的相同着色像素的电荷，以及水平求和或平均化图7A中分为四组的组合像素的已测量的像素来生成图7C中最后的组合彩色像素，且R″、G″和B″表示相同着色像素的最后组合。在该组合方式中，图7C中的每个最后的组合彩色像素具有四倍于未组合像素的感光度的感光度。一些传感器结构，特别是一些CCD配置能够允许将来自每个单元格内的所有八个相同着色像素的电荷组合为图7C中的形式，导致组合彩色像素的感光度增加八倍。

根据上面所述，现在应当明白，出于调整彩色像素感光性的目的，存在多个组合彩色像素的自由度。公知的组合方案被建议给本领域技术人员，并且这是基于场景内容、场景照明、整体光线等级或其他标准。进一步地，选择组合方案以便有意地允许组合像素具有比全色像素更少或更多的感光度。

为了达到该目的，应用了红绿蓝滤波器的图像传感器被描述。采用可替换的滤波器选择来实施本发明。应用了青色、黄色和品红传感器的图像传感器是本领域公知的，并且采用青色、品红和黄色滤波器来实施本发明。图8A示出了图4A的青色、品红和黄色的等效物，其中C表示青色像素、M表示品红像素和Y表示黄色像素。本发明还可以使用具有三个以上的彩色光响应的像素。

图8B示出本发明的最小重复单元，其包括青色像素(由C表示)、品红像素(由M表示)、黄色像素(由Y表示)和绿色像素(由G表示)。这保留了图5所示的最小重复单元的整体单元格排列，但是包括四个不同的着色像素和四个不同的着色像素对应的单元格。图8C示出了另一个可替换的四个色彩排列，其包括红色像素(由R表示)、蓝色像素(由B表示)、具有一个彩色光响应的绿色像素(由G表示)和具有不同彩色光响应的替换绿色像素(由E表示)。图8D示出了另一个可替换的四个色彩排列，其中图4A中的其中一个绿色单元格被置换为黄色单元格，其中黄色像素由Y表示。

除了全色像素以外还采用少于三个的颜色来实施本发明。例如，具有对应于颜色红和蓝的单元格的最小重复单元适于使用。

在本发明的精神内实施图4A的多种替换。例如，图9呈现了本发明的可替换的最小重复单元，其采用了与图4A相同的单元格结构，除了全色像素的棋盘图案。该图案提供了图像的均匀的全色采样，克服了图4A、4C和4D中的垂直全色采样缺陷。图9的特征为通过沿对角线排列全色像素来实施本发明的例子。图9进一步的特征为具有单一的对角线全色像素，其中全色像素的每个对角线与相邻对角线被彩色像素的对角线分开。图9的另一个特征是沿着对角线并排排列的两个或更多个相同彩色像素。

到目前为止所述的图案具有相同数目的全色和彩色像素。本发明不限于这种排列，如全色像素比彩色像素更多。图10A还示出本发明的另一个实施例，其中彩色像素被嵌入到全色像素的网格图案中。该图案提供了非常好的全色空间采样，同时表现了与图4A和9所示相同的彩色单元格排列。图10B提供了全色网格图案的四个颜色的实施例。通常，图10中的最小重复单元的特征在于通过一个或多个全色像素把每个彩色像素与相邻彩色像素分开。

对于给定的像素图案，最小重复单元已经在前面被定义为比其他的重复单元具有更少像素的重复单元。在相同的场景中，根据在重复单元中像素总数来比较来自不同像素图案的重复单元的大小。作为例子，来自一个像素图案的4像素×8像素的重复单元比来自另一个像素图案的6像素×6像素的重复单元要小，因为在第一个重复单元中的像素总数(4×8＝32)比在第二个重复单元中的像素总数(6×6＝36)要小。作为另一个例子，比具有8像素×8像素的重复单元要小的重复单元包括总数小于64个的像素。

到目前为止所示的所有图案显示了单元格结构，其中每个单元格除了全色像素之外还包含单一的颜色。进一步地，到目前为止所示的所有图案显示了具有8×8像素范围的最小重复单元。还可以使用这样的最小重复单元，即在每个单元格中具有一种以上颜色的单元格。同样，最小重复单元格被定义为其范围小于8×8像素。例如，图11A中的最小重复单元具有两个单元格且每个单元格包括两种颜色：在左侧单元格中的蓝色和绿色(分别由B和G表示)，以及在右侧单元格中的红色和绿色(分别由R和G表示)。在图11A中，单元格中包含两种颜色，以及这些颜色被排列以便使为了提高颜色的感光度而组合相同颜色变得容易。图11B示出了如何平铺图11A中的最小重复单元以便使红色和蓝色交错。图11C提供了一种应用了四个颜色并在每个单元中具有两个颜色的最小重复单元。图11D示出了如何平铺图11C中的最小重复单元以便使红色和蓝色交错。在图11D中，不精确图案的特征在于在绿色范围(分别由G和E表示)内的两个不同颜色光感应的棋盘与红和蓝(分别由R和B表示)的棋盘相互交错。图12A提供了图11A的全色棋盘型式，以及图12B提供了图11C的全色棋盘型式。通常，图11A和11C的最小重复单元的特征在于由不同的像素来在行和列上将每个彩色显和相邻彩色像素彼此分开，其中该不同的像素或者是不同的彩色像素或者是全色像素。

到目前为止所描述的最小重复单元具有8×8或4×4的像素范围。然而，最小重复单元是比较小的。例如，图13A类似于图14A，但是每个彩色单元格是3像素宽乘4像素高以及整个最小重复单元是6像素宽乘8像素高。图13B消除了图13A中的两个彩色像素行，从而生成具有3×3像素的单元格，以及6×6像素的最小重复单元。图13C进一步消除了两个全色行，从而生成具有3像素宽乘2像素高的单元格(每个单元格包含3个全色像素和3个彩色像素)，以及具有6像素宽乘4像素高的最小重复单元。如果在每个单元格中组合颜色的方案需要比图4A所示要少的像素数量和其他图案，那么图13A-13C所示图案是特别有用的。

图14A还示出了另一种最小重复单元。图14A中的最小重复单元是6×6像素，其中每个单元格包括单一颜色的4像素菱形图案且其余5像素是全色像素。如图14A所示的全色空间采样图案稍微有些不规则，建议图14B的图案，其在由单一颜色占据的每个3×3单元格中具有全色棋盘和其余像素。

图15A示出了4×4像素的最小重复单元，并且包括四个2×2像素单元格。注意，每个单元格中包括两个全色像素和两个相同颜色的像素。该发明在每个2×2单元格中需要两个相同颜色像素的布局，以便使在每个单元格中组合彩色像素变得容易。图15B类似于图15A，但是采用全色棋盘图案。

现在回到图16，图15中的最小重复单元被划分为四个单元格，单元格是具有比最小重复单元还少的像素的连续像素子阵列。需要提供下列处理的软件被包含在图1中的DSP36中。单元格220、224、226和228是单元格的例子，其中这些单元格包含分别具有绿、红、蓝和绿色光响应的像素。在该例子中，单元格220包含全色像素和彩色像素，绿色像素被标识为像素组222。最后的目的是通过组合像素组222中的绿色像素的八个绿色信号来生成单元格220的单绿色信号。依赖于图像传感器的操作模式，通过组合模拟域中的所有八个绿色信号(通过电荷进仓(charge binning))来生成单绿色信号，或通过组合比像素组222中的像素更少的像素组来生成多个绿色信号。在图17A中示出了单元格220中的全色像素。在下面的例子中，所有来自这些全色像素的八个信号被单独数字化。单元格220的绿色像素被图17B-17E示出，其中，根据这些信号在模拟域中被组合的方式，将它们一起分组。图17B描述了所有的八个绿色像素被组合来生成单元格220(图6)中的单绿色信号的情况。传感器能够生成两个绿色信号，例如，通过首先组合来自像素G21、G22、G23和G24的信号以及然后组合来自像素G41、G42、G43和G44的信号，如图17C所示。还可以采用其他方式来生成两个信号。该传感器首先可以组合来自像素G21、G22、G41和G42的信号，然后再组合来自像素G23、G24、G43和G44的信号，如图17D所示。传感器还可以通过组合四对信号来生成单元格220的四个绿色信号，例如，通过组合像素G21和G22，然后组合G23和G24，然后组合G41和G42，以及最后组合G43和G44，如图17E所示。应当清楚，存在多种其他的方式来组合单元格220中的绿色像素对(图16)。如果传感器根本没有进行组合，那么所有八个绿色信号单独向单元格220报告。因此，在单元格220的情形下，传感器能够生成单元格220的一个、两个、四个或八个绿色值，并且能够依赖于传感器的操作模式以不同的方式来生成它们。

对于单元格224、226和228(图16)来说，由传感器依赖于它的操作模式来生成类似彩色信号。单元格224、226和228的彩色信号分别是红色、蓝色和绿色。

回到单元格220的情况，不管在该单元格中有多少信号被数字化，本发明的图像处理算法进一步组合数字化的绿色值以便生成单元格的单绿色值。捕获单绿色值的一种方式是通过均分单元格220中生成的数字化绿色值。在单元格包含不同光响应的彩色像素的情况下，单元格中所有彩色被类似地组合，以便对单元格中表示的每个彩色光响应都存在单一值。

属于原始传感器中的像素的彩色值，其中该传感器捕获原始图像数据，与属于原始传感器中单元的彩色值之间的区别是重要的。两个类型的彩色值被用来生成彩色图像，但是得到的彩色图像具有不同的分辨率。具有与原始传感器中的像素相关联的像素值的图像被称为高分辨率图像，以及具有与原始传感器中的单元相关联的图像被称为低分辨率图像。

现在回到图18，所示出的数字信号处理器块36(图1)从数据总线30(图1)接收所捕获的原始图像数据。该原始图像数据被送到低分辨率部分彩色块202和高分辨率全色块204中。图像传感器中的最小重复单元的例子已经在图5和图16中示出。在单元格220的情况下(图16)，所捕获的原始图像包括由图17A所示的独立全色像素生成的全色数据。同样，对于单元格220(图16)，还包括一个或多个绿(色)值，例如，从图17B-E所示的组合。

在低分辨率部分彩色块202(图18)中，从所捕获的原始图像数据中生成部分彩色图像，部分彩色图像是这样的彩色图像，其中每个像素具有至少一个彩色值以及每个像素还丢失了至少一个彩色值。依赖于传感器的操作模式，所捕获的原始数据包含由每个单元格中的彩色像素生成的一定数目的彩色值。在低分辨率部分彩色块202中，这些彩色值被减小到每个单元格中所表现出的每个颜色的单一值。对于单元格220(图16)，作为例子，产生单一的绿色值。同样，对于单元格224、226和228来说，分别生成单一的红色、蓝色和绿色值。

低分辨率部分彩色块202以类似的方式来处理每个单元格，得到彩色值阵列，每个单元格一个。因为得到的图像阵列基于单元格而不是原始传感器中的像素，所以其在每个维度中比原始捕获的原始图像数据阵列要小四倍。因为得到的阵列是基于单元格并且因为每个像素具有一些而不是全部的彩色值，所以得到的图像是低分辨率部分彩色图像。因此，低分辨率部分彩色图像被色彩平衡化。

现在观察高分辨率全色块204，使用如图16所示的相同的原始图像数据，然而仅仅使用全色值(图17A)。这次的任务是通过在那些不具有全色值的像素上估计全色值来内插全色值。在单元220的情形下(图16)，全色值必须被估计为在像素组222(图16)中的绿色像素。一种用于估计丢失的全色值的简单方式是作垂直平均化。因此，例如，我们可以按照下述来估计像素22上的全色值：

P22＝(P12+P32)/2

还可以使用自适应方法。例如，一种自适应方法是使用如图17A所示的全色值来计算三个梯度值并取它们的绝对值：

SCLAS＝ABS(P31-P13)

VCLAS＝ABS(P32-P12)

BCLAS＝ABS(P33-P11)

同样，计算三个预测值：

SPRED＝(P31+P13)/2

VPRED＝(P32+P12)/2

BPRED＝(P33+P11)/2

然后，组P22等于与最小分类值相对应的预测值。在另一情况下，组P22等于指定预测值的平均。全色内插继续贯穿于该图像而不考虑单元格界限。当执行高分辨率全色块204的处理时，得到的数字全色图像具有与原始捕获的原始图像一样的大小，使得它成为高分辨率全色图像。

低分辨率部分彩色块206接收由块204生成的高分辨率全色图像阵列，并生成与由块202生成的低分辨率部分彩色图像一样大小的低分辨率部分彩色图像阵列。在给定的单元格中，对具有滤色器的那些像素来说，通过平均估计的全色值来捕获每个低分辨率全色值。在单元格220的情形下(图16)，之前像素组222(图16)中的绿色像素被估计为高分辨率全色值，现在它被一起平均以生成单元格中的单一低分辨率的全色值。同样，使用在具有红色滤波器的像素上被估计的高分辨率全色值来计算单元格224中的单一低分辨率全色值。在该方式下，每个单元格以单一低分辨率全色值结束。

低分辨率彩色差分块208从块202接收低分辨率部分彩色图像以及从块206接收低分辨率全色阵列。然后通过根据来自低分辨率全色图像进行彩色内插低分辨率部分彩色图像来形成低分辨率中间彩色图像。将在后面讨论的彩色内插算法依赖于像素光响应，其被用于捕获原始图像数据。

在形成低分辨率中间彩色图像之后，对其进行彩色校正。一旦低分辨率中间彩色图像被校正，那么通过从每个低分辨率彩色平面中一个一个地减去低分辨率全色图像来计算低分辨率彩色差分图像。高分辨率彩色差分块210从块208接收低分辨率彩色差分图像，并使用双线性内插，上采样该低分辨率彩色差分图像以便匹配原始图像数据的大小。结果是高分辨率彩色差分图像具有与块204生成的高分辨率全色图像一样的大小。

高分辨率最终图像块212从块210接收高分辨率彩色差分图像以及从块204接收高分辨率全色图像。然后通过将高分辨率全色图像加入到每个高分辨率彩色差分平面中来形成高分辨率最终彩色图像。然后进一步处理得到的高分辨率最终彩色图像。例如，它被存储在DSP存储器块32(图1)中，然后被锐化和压缩以存储在存储卡块64(图1)上。

如图4A-D，8A，9，10A，13A-C，14A-B和15A-B所示的传感器滤波器图案具有最小重复单元，以便在块202中生成的所得到的低分辨率部分彩色图像显示了滤色器的重复Bayer图案：

G R

B G

除了单一彩色值之外，其由低分辨率部分彩色图像给定，每个单元格还具有由低分辨率全色图像给定的全色值。

考虑到在低分辨率部分彩色图像中呈现该Bayer图案的情况，现在更为详细地描述在低分辨率彩色差分块208(图18)中的彩色内插任务。彩色内插开始于在不总是具有绿色值的像素上内插绿色值，如图19A中的像素234所示。如像素230、232、236和238所示的四个相邻像素都具有绿色值，并且它们也都具有全色值。中心像素234具有全色值，但是不具有由问号(？)表示的绿色值。

第一步是计算两个分类值，涉及水平方向的第一分类值和涉及垂直方向的第二分类值：

HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4)

VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5)

然后，计算两个预测值，涉及水平方向的第一预测值和涉及垂直方向的第二预测值：

HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2

VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2

最后，让THRESH成为经验性地确定的阈值，我们能够根据下述来自适应地计算丢失的值，G3：

IF MAX(HCLAS，VCLAS)＜THRESH

G3＝(HPRED+VPRED)/2

ELSEIF VCLAS＜HCLAS

G3＝VPRED

ELSE

G3＝HPRED

END

因此，如果两个分类值比阈值都要小，那么对G3计算两个预测值的平均值。如果不是，那么依赖于哪一个分类值HCLAS或VCLAS更小来使用HPRED或VPRED。

一旦所有失去的绿色值被估计，那么丢失的红色和蓝色值被内插。如图19B所示，像素242丢失了红色值，但是它的两个水平相邻像素240和244分别具有红色值R2和R4。所有三个像素都具有绿色值。在这些条件下，按照如下方式计算像素242的红色值(R3)的估计：

R3＝(R4+R2)/2+(2*G3-G2-G4)/2

在类似的条件下以类似的方式来计算丢失的蓝色值。因此，仍然丢失红色和蓝色值的像素仅仅是那些需要垂直内插的像素。如图19C所示，像素252丢失了红色值，以及它的两个垂直相邻像素250和254分别具有红色值R1和R5。在这些条件下，按照如下方式计算像素252的红色值(R3)的估计：

R3＝(R5+R1)/2+(2*G3-G1-G5)/2

在类似的条件下以类似的方式来计算丢失的蓝色值。这完成了低分辨率部分彩色图像的内插以及结果是低分辨率中间彩色图像。如上所述，现在，可以通过从每个彩色平面中减去低分辨率全色值来计算低分辨率彩色差分：刚刚讨论过的例子中的红色、绿色和蓝色。

注意，所有传感器生成低分辨率部分彩色图像，其呈现了彩色值的重复Bayer图案。例如，如图11A所示的传感器图案确定每个单元格接收两个彩色值：无论绿色和红色还是绿色和蓝色。因此，在这种情况中，低分辨率彩色差分块208(图18)中彩色内插的任务估计每个像素的所丢失的红色值或所丢失的蓝色值。参考图19D，所示像素264具有绿色值(G3)而不是具有红色值(R3)。四个相邻像素260、262、266和268具有绿色值和红色值。用于内插像素264(图19D)的红色值的方法类似于用于内插像素234(图19A)的绿色值的方法。

HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4)

VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5)

HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2

VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2

IF MAX(HCLAS，VCLAS)＜THRESH

R3＝(HPRED+VPRED)/2

ELSEIF VCLAS＜HCLAS

R3＝VPRED

ELSE

R3＝HPRED

END

因此，如果两个分类值比阈值都要小，那么对R3计算两个预测值的平均值。如果不是，那么依赖于哪一个分类值HCLAS或VCLAS更小来使用HPRED或VPRED。

使用代替红色的蓝色值的相同方式精确地内插所丢失的蓝色值。一旦完成，那么如上面所描述的那样来计算低分辨率彩色差分。

已经特别参考一些优选实施例详细地描述了本发明，但是应当明白，在本发明的精神和范围内可以实现多种变型和修改。

部件列表

10 来自目标场景的光

11 成像级

12 透镜

13 中性密度滤光片

14 光圈

16 亮度传感器

18 快门

20 图像传感器

22 模拟信号处理器

24 模数(A/D)转换器

26 定时发生器

28 图像传感器级

30 数字信号处理器(DSP)总线

32 数字信号处理器(DSP)存储器

34 数字信号处理器(DSP)

38 处理器级

40 曝光控制器

50 系统控制器

52 系统控制器总线

54 程序存储器

56 系统存储器

57 主机接口

60 存储卡接口

62 存储卡插槽

64 存储卡

68 用户控制和状态界面

70 取景器显示器

72 曝光显示器

74 用户输入

76 状态显示器

80 视频编码器

82 显示控制器

88 图像显示器

100 Bayer图案的最小重复单元

102 不是最小的Bayer图案的重复单元

110 红外线阻塞滤波器的光谱传输曲线

112 传感器的未滤波的光谱光响应曲线

114 传感器的红色光响应曲线

116 传感器的绿色光响应曲线

118 传感器的蓝色光响应曲线

120 第一绿色单元格

122 红色单元格

124 蓝色单元格

126 第二绿色单元格

202 低分辨率部分彩色块

204 高分辨率全色块

206 低分辨率全色块

208 低分辨率全色彩色差分块

210 高分辨率彩色彩色差分块

212 高分辨率最终图像块

220 第一绿色单元格

222 在第一绿色单元格中的绿色像素

224 红色单元格

226 蓝色单元格

228 第二绿色单元格

230 用于内插丢失的绿色值的上像素值

232 用于内插丢失的绿色值的左像素值

234 具有丢失的绿色值的像素

236 用于内插丢失的绿色值的右像素值

238 用于内插丢失的绿色值的下像素值

240 用于内插丢失的红色值的左像素值

242 具有丢失的红色值的像素

244 用于内插丢失的红色值的右像素值

250 用于内插丢失的红色值的上像素值

252 具有丢失的红色值的像素

254 用于内插丢失的红色值的下像素值

260 用于内插丢失的红色值的上像素值

262 用于内插丢失的红色值的左像素值

264 具有丢失的红色值的像素

266 用于内插丢失的红色值的左像素值

268 用于内插丢失的红色值的下像素值

Claims

1.一种用于形成最终数字彩色图像的方法，包括：

a)使用具有与至少两个彩色光响应对应的全色像素和彩色像素的图像传感器来捕获图像；

b)由所捕获的图像提供数字全色图像和中间数字彩色图像；以及

2.如权利要求1所述的方法，其中步骤a)中的图像传感器的像素图案具有4×4或更大尺寸的最小重复单元。

3.如权利要求2所述的方法，其中该最小重复单元被进一步划分为单元格，其每一个具有至少两个全色像素和具有相同光谱光响应的至少两个彩色像素。

4.如权利要求2所述的方法，其中步骤a)中的图像传感器的像素图案具有8×8或更大尺寸的最小重复单元。

5.如权利要求4所述的方法，其中该最小重复单元被进一步划分为单元格，其每一个具有至少两个全色像素和具有相同光谱光响应的至少两个彩色像素。

6.一种用于处理由图像传感器所捕获的彩色图像以允许在不同照明条件下对所捕获的彩色图像进行有效再现的方法，包括：

a)捕获用由具有第一和第二组像素的两维像素阵列产生的信号表示的图像，其中第一组像素具有比第二组像素窄的光谱光响应，以及其中第一组像素包含具有与至少两个颜色的组相对应的不同光谱光响应的像素，该图像阵列被排列为单元格，其每一个包含具有相同光谱光响应的第一组中的至少两个像素，

b)使用所述信号用于每个单元格中的像素，其与第一组像素中的类似着色像素相对应，以便为每个单元格生成至少一个第一信号，

c)使用第一信号组用于每个单元格以及所述信号用于第二组像素中的每个像素以生成调整的彩色数字图像，其补偿不同的照明条件。

7.如权利要求6所述的方法，其中步骤c)包括：

i)使用所述信号用于第二组像素中的像素来为每个单元格生成第二信号，

ii)使用来自每个单元格的第一和第二信号以及来自至少一个相邻单元格的第一和第二信号来为每个单元格生成彩色内插信号组，以及

iii)使用所述彩色内插信号组用于每个单元格以及所述信号用于第二组像素中的每个像素以生成调整的彩色数字图像，其补偿不同的照明条件。

8.如权利要求7所述的方法，其中用于第一和第二组的每一个中的像素的信号是模拟信号，以及其中这些模拟信号用于步骤b.)和ci.)来为每个单元格生成第一和第二信号。

9.如权利要求8所述的方法，其中，模拟信号是电荷以及通过将电荷加在一起来生成用于每个单元格的第一和第二信号。

10.如权利要求8所述的方法，其中模拟信号生成电压以及通过将电压加在一起来生成用于每个单元格的第一和第二信号。

11.如权利要求7所述的方法，其中第一和第二信号被数字化。

12.如权利要求11所述的方法，其中步骤cii)包括使用彩色差分来提供彩色内插，以及步骤ciii.)包括上采样彩色差分。

13.一种用于处理由图像传感器所捕获的彩色图像以允许在不同照明条件下对所捕获的彩色图像进行有效再现的方法，包括：

a)使用图像传感器来捕获由信号表示的图像，其中该图像传感器是具有生成信号的第一和第二组像素的两维像素阵列，其中第一组像素具有比第二组像素窄的光谱光响应，以及其中第一组像素包含限定高分辨率全色图像的具有与至少两个滤色器的组和第二组像素相对应的不同光谱光响应的像素，

b)组合来自每个单元格中的第一组像素的类似彩色像素的第一信号以形成低分辨率稀疏彩色图像，

c)在高分辨率全色图像中使用来自第二组像素中的像素的第二信号来内插对应于第一组像素中的像素的像素值并提供全色内插的高分辨率图像，

d)使用低分辨率稀疏彩色图像和全色内插的高分辨率图像来生成高分辨率彩色图像。

14.如权利要求13所述的方法，其中步骤b)包括求和来自类似彩色像素的第一信号。

15.如权利要求13所述的方法，其中步骤d)包括求和来自高分辨率内插的全色图像的像素值，以生成低分辨率全色图像；使用低分辨率全色图像和低分辨率滤色器阵列图像来生成高分辨率彩色差分图像；以及使用高分辨率彩色差分图像和高分辨率全色内插图像来生成高分辨率彩色图像。

16.如权利要求14所述的方法，其中步骤d)包括求和来自高分辨率内插的全色图像的像素值以生成低分辨率全色图像；使用低分辨率全色图像和低分辨率滤色器阵列图像来生成高分辨率彩色差分图像；以及使用高分辨率彩色差分图像和高分辨率全色内插的图像来生成高分辨率彩色图像。

17.一种用于处理由图像传感器所捕获的彩色图像以允许在不同照明条件下对所捕获的彩色图像进行有效再现的方法，包括：

a)捕获用由具有第一和第二组像素的两维像素阵列产生的信号表示的图像，其中第一组像素的像素具有比第二组像素的像素窄的光谱光响应，以及其中第一组像素包含具有与至少两个颜色的组相对应的光谱光响应的独立像素，第一和第二组像素的布置限定具有包括至少十二个像素的最小重复单元的图案，该最小重复单元具有多个单元格，其中每个单元格具有从第二组像素中选择的多个像素以及具有对应于从第一组像素选择的特定颜色的相同的光谱光响应的至少两个像素，

b)使用所述信号用于每个单元格中的像素，其与第一组像素的类似着色像素相对应，以便为每个单元格生成至少一个第一信号，