CN102461174A - 具有四个通道的滤色器阵列图案 - Google Patents

Abstract

本发明揭示一种用于俘获彩色图像的图像传感器，其包括二维光敏像素阵列，所述光敏像素包含全色像素和具有至少三种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元来布置，其中对于第一色彩响应，具有第一色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在所述重复图案的仅具有给定色彩响应的彩色像素和全色像素的至少一行、列或对角线。

Description

具有四个通道的滤色器阵列图案

技术领域

本发明涉及从具有色彩通道和全色通道的滤色器阵列图像以改善的空间分辨率产生全彩色图像。

背景技术

单传感器数码相机采用滤色器阵列(CFA)以便从光敏像素的单个二维阵列俘获全色彩信息。CFA由滤色器阵列组成，所述滤色器过滤由每一像素检测到的光。因此，每一像素接收来自仅一种色彩的光，或在全色或“透明”过滤器的情况下接收来自所有色彩的光。为了从CFA图像再现全彩色图像，必须在每一像素位置产生三种色彩值。这是通过从相邻像素值内插丢失的色彩值来实现的。

最佳已知的CFA图案使用如拜耳(Bayer)(第3,971,065号美国专利)描述且在图2中展示的三个色彩通道。拜耳CFA具有三个色彩通道，其实现了全色彩再现能力。然而，所述三个通道的确切谱响应性(“色彩”)表现出折中。为了改善色彩保真度且加宽CFA可俘获的色彩范围(即，色域)，需要使谱响应性更具选择性(“变窄”)。这具有减少到达像素的总光量且因此降低其对光的敏感性的副作用。因此，像素值变得更容易受到来自非成像源的噪声(例如，热噪声)的影响。对噪声问题的一个解决方案是使CFA谱响应性的选择性降低(“加宽”)以增加到达像素的总光量。然而，这带来的副作用是降低色彩保真度。

对此三通道CFA限制的解决方案是采用四通道CFA，其由三个具有“窄”谱敏感性的色彩和一个具有“宽”谱敏感性的色彩构成。“最宽”的此通道将是全色或“透明”的，其将对全光谱敏感。三个“窄带”色彩通道将产生具有较高色彩保真度和较低空间分辨率的图像，而第四“宽带”全色通道将产生具有较低噪声和较高空间分辨率的图像。这些高色彩保真度、低空间分辨率和低噪声、高空间分辨率图像将随后合并为最终的高色彩保真度、低噪声、高空间分辨率图像。

为了产生高空间分辨率全色图像，同时维持来自彩色像素的高色彩保真度，CFA内的全色像素的数目和布置以及对应的内插算法必须经适当选择。现有技术中存在着在此方面具有一种或一种以上责任的多种实例。弗莱姆(Frame)(第7012643号美国专利)教示图19中所示的CFA，其在全色(P)像素的9x9正方形内具有仅单个红(R)、绿(G)和蓝(B)像素。弗莱姆的问题在于所得的色彩空间分辨率太低而无法产生图像中的所有细节，而只产生最低频色彩细节。

山上(Yamagami)等人(第5,323,233号美国专利)描述如图20A和图20B中所示的两种CFA图案，其具有相等量的全色和彩色像素，从而避免了弗莱姆的责任。山上等人继续教示使用简单的双线性内插作为用于内插丢失的全色值的手段。仅线性内插方法的使用(例如双线性内插)极大地限制了经内插图像的空间分辨率。例如亚当斯(Adams)等人(第5,506,619号美国专利)中描述的非线性方法产生较高空间分辨率经内插图像，只要CFA图案准许其使用既可。图21A说明亚当斯等人使用的图案。在图2中所示的三通道系统中提供高空间频率分辨率的绿(G)像素围绕中心彩色像素在水平与垂直方向上与色彩(C)像素交替。重要的是应注意，这些彩色像素全都是同一色彩，例如红像素。图21B展示类似图案，其在绿像素的位置中使用全色(P)像素。此时应注意，对于四通道系统，不可能以图21B中所示的图案在传感器上的所有色彩(R，G，B)像素位置处发生的方式来布置全部四个通道(R，G，B和P)。因此，任一可能的布置将以此方式存在某种折中。关于山上等人，图20A具有如图21B中布置的绿像素和全色像素，但红像素和蓝像素未如此布置。在图21B之后，例如图21C中的布置是优选的，但图20A相对于红像素或蓝像素不具有此布置。图20B针对任何彩色像素均不具有图21B或图21C的图案。田中(Tanaka)等人(第4,437,112号美国专利)描述若干CFA图案，其中与本论述最相关的一者是图22。在图22中，青(C)、黄(Y)、绿(G)和全色(P)像素经布置以使得绿像素由图21C中所示的相邻者围绕。然而，黄和青像素不符合图21B或图21C的图案。田中等人教示的其它图案存在相同的难题。

哈密尔顿(Hamilton)等人(第2007/0024879号美国专利申请案)教示大量CFA图案，其中两者在图23A和图23B中展示。这些图案的责任以及哈密尔顿等人揭示的所有其它图案均不具有图21B和图21C的像素布置。

贵屿(Kijima)等人(第2007/0177236号美国专利申请案)描述大量CFA图案，其中最相关的CFA图案在图24中展示。虽然双行全色像素在垂直方向上提供图21C布置，但图24中不存在并排全色值的此水平布置。

因此，需要一种具有三个窄带色彩通道和一个宽带全色通道的四通道CFA图案，其具有足够的彩色像素来提供充足的色彩空间分辨率且经布置以便准许对丢失的全色值的有效非线性内插。

发明内容

根据本发明，提供一种用于俘获彩色图像的图像传感器，其包括二维光敏像素阵列，所述光敏像素包含全色像素和具有至少三种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元来布置，其中对于第一色彩响应，具有所述第一色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在所述重复图案的仅具有给定色彩响应的彩色像素和全色像素的至少一行、列或对角线。

本发明的优点在于改善了图像的色彩空间分辨率而无需相对于传感器内的全色像素增加彩色像素的百分比。

本发明的又一优点在于实现了图像中的色彩噪声的减少而无需增加彩色像素的谱带宽且对应地降低图像的色彩保真度。

从以下对优选实施例和所附权利要求书的详细描述的审阅且通过参考附图，将更清楚地理解和了解本发明的这些和其它方面、目标、特征和优点。

附图说明

图1是用于实施本发明的数码相机的框图；

图2是现有技术的最小重复单元；

图3是本发明优选实施例的最小重复单元；

图4A和图4B是本发明替代实施例的最小重复单元；

图5A和图5B是本发明替代实施例的最小重复单元；

图6是本发明优选实施例的图像处理链的概述；

图7是在内插全色图像值中使用的像素相邻者；

图8是在内插全色图像值中使用的像素相邻者；

图9A和图9B是在内插全色图像值中使用的像素相邻者；

图10是在内插全色图像值中使用的像素相邻者；

图11A和图11B是在内插全色图像值中使用的像素相邻者；

图12A和图12B是在内插全色图像值中使用的像素相邻者；

图13是在内插色差值中使用的像素相邻者；

图14是在内插色差值中使用的像素相邻者；

图15A和图15B是在内插色差值中使用的像素相邻者；

图16A和图16B是在内插色差值中使用的像素相邻者；

图17是展示本发明优选实施例的融合图像块的详图的框图；

图18是展示本发明替代实施例的融合图像块的详图的框图；

图19是现有技术的最小重复单元；

图20A和图20B是现有技术的最小重复单元；

图21A、图21B和图21C是现有技术的用于内插绿图像值和全色图像值的像素相邻者；

图22是现有技术的最小重复单元；

图23A和图23B是现有技术的最小重复单元；

图24是现有技术的最小重复单元；且

图25是本发明替代实施例的最小重复单元。

具体实施方式

在以下描述中，将在将普通地实施为软件程序的方面描述本发明的优选实施例。所属领域的技术人员将容易认识到此软件的均等物也可以硬件来构造。因为图像操纵算法和系统是众所周知的，所以本描述将尤其针对形成根据本发明的系统和方法的部分或与所述系统和方法较直接地协作的算法和系统。此些算法和系统以及用于产生和另外处理其所涉及的图像信号的硬件或软件的其它方面可从此项技术中已知的此些系统、算法、组件和元件中选择。给定如根据本发明在以下材料中描述的系统，未具体展示、本文建议或描述的有用于实施本发明的软件是常规的且在此项技术中的普通技艺的范围内。

此外，如本文使用，用于执行本发明方法的计算机程序可存储在计算机可读存储媒体中，计算机可读存储媒体可包含例如：磁性存储媒体，例如磁盘(例如硬驱动器或软磁盘)或磁带；光学存储媒体，例如光盘、光带或机器可读条形码；固态电子存储装置，例如随机存取存储器(RAM)或只读存储器(ROM)；或用以存储计算机程序的任一其它物理装置或媒体。

因为采用成像装置和用于信号俘获和校正以及用于曝光控制的相关电路的数码相机是众所周知的，所以本描述将尤其针对形成根据本发明的系统和方法的部分或与所述系统和方法较直接地协作的元件。本文未具体展示或描述的元件是选自此项技术中已知的那些元件。将描述的实施例的某些方面是以软件提供。给定根据本发明在以下材料中展示和描述的系统，未具体展示、本文建议或描述的有用于实施本发明的软件是常规的且在此项技术中的普通技艺的范围内。

现在转到图1，展示体现本发明的图像俘获装置的框图。在此实例中，将图像俘获装置展示为数码相机。然而，虽然现在将阐释数码相机，但本发明显然也适用于其它类型的图像俘获装置。在所揭示的相机中，来自主题场景10的光输入到成像级11中，在成像级11处光由透镜12聚焦以在固态滤色器阵列图像传感器20上形成图像。滤色器阵列图像传感器20将入射光转换为用于每一图元(像素)的电信号。优选实施例的滤色器阵列图像传感器20是电荷耦合装置(CCD)型或有源像素传感器(APS)型。(APS装置常常称为CMOS传感器，因为能够在互补金属氧化物半导体工艺中制造APS装置。)也可使用具有二维像素阵列的其它类型的图像传感器，只要其采用本发明的图案即可。用于本发明中的滤色器阵列图像传感器20包括彩色像素和全色像素的二维阵列，在描述图1之后在本说明书中这将变得清楚。

到达滤色器阵列图像传感器20的光量由改变光圈的可变光阑块14和包含插入在光径中的一个或一个以上中性密度(ND)滤光器的ND滤光器块13来调节。快门18打开的时间也调节总光级。曝光控制器40响应由亮度传感器块16计量的在场景中可用的光量，且控制这些调节功能的全部三者。

特定相机配置的此描述将是所属领域的技术人员熟悉的，且显然存在许多变化和额外特征。举例来说，可添加自动聚焦系统，或者透镜可为可拆卸和可互换的。将了解，本发明可应用于任一类型的数码相机，其中类似地功能性由替代组件提供。举例来说，数码相机可为相对简单的傻瓜(point-and-shoot)数码相机，其中快门18是相对简单的可移动叶片快门或类似物而不是更复杂的焦平面布置。本发明也可使用包含于例如移动电话和汽车车辆等非相机装置中的成像组件来实践。

来自滤色器阵列图像传感器20的模拟信号由模拟信号处理器22处理且施加到模/数(A/D)转换器24。时序产生器26产生各种计时信号以选择行和像素，且同步模拟信号处理器22与A/D转换器24的操作。图像传感器级28包含滤色器阵列图像传感器20、模拟信号处理器22、A/D转换器24和时序产生器26。图像传感器级28的组件可为单独制造的集成电路，或其可如CMOS图像传感器的通常做法那样制造为单个集成电路。来自A/D转换器24的数字像素值的所得流存储在与数字信号处理器(DSP)36相关联的数字信号处理器(DSP)存储器32中。

DSP 36是此实施例中的三个处理器或控制器中的一者，其它的是系统控制器50和曝光控制器40。虽然相机功能控制在多个控制器和处理器之间的此分割是典型的，但这些控制器或处理器可以各种方式组合而不会影响相机的功能操作和本发明的应用。这些控制器或处理器可包含一个或一个以上数字信号处理器装置、微控制器、可编程逻辑装置或其它数字逻辑电路。虽然已描述此些控制器或处理器的组合，但应了解，可指定一个控制器或处理器执行所有的所需功能。所有这些变型均可执行相同功能且属于本发明的范围内，且将在需要时使用术语“处理级”来在一个短语内涵盖所有此功能性，如图1中的处理级38中。

在说明的实施例中，DSP 36根据软件程序来操纵DSP存储器32中的数字图像数据，所述软件程序永久存储在程序存储器54中且复制到DSP存储器32以用于在图像俘获期间执行。DSP 36执行实践图18所示的图像处理所必要的软件。DSP存储器32可为任一类型的随机存取存储器，例如SDRAM。包含用于地址和数据信号的路径的总线30将DSP 36连接到其相关的DSP存储器32、A/D转换器24和其它相关装置。

系统控制器50基于存储在程序存储器54中的软件程序来控制相机的总体操作，程序存储器54可包含快闪EEPROM或其它非易失性存储器。此存储器也可用以存储图像传感器校准数据、用户设定选择和在相机断电时必须保存的其它数据。系统控制器50通过如下方式控制图像俘获序列：引导曝光控制器40如先前所述操作透镜12、ND滤光器块13、可变光阑块14和快门18，引导时序产生器26操作滤色器阵列图像传感器20和相关联元件，且引导DSP 36处理俘获的图像数据。在俘获且处理图像之后，存储在DSP存储器32中的最终图像文件经由主机接口57传送到主机计算机，存储在可装卸存储器卡64或其它存储装置上，且在图像显示器88上为用户显示。

系统控制器总线52包含用于地址、数据和控制信号的路径，且将系统控制器50连接到DSP 36、程序存储器54、系统存储器56、主机接口57、存储器卡接口60和其它相关装置。主机接口57提供与个人计算机(PC)或其它主机计算机的高速连接以用于传送图像数据供显示、存储、操纵或打印。此接口可为IEEE1394或USB2.0串行接口或任一其它合适的数字接口。存储器卡64通常是紧密快闪(CF)卡，其插入到存储器卡插座62中且经由存储器卡接口60连接到系统控制器50。可利用的其它类型的存储装置包含(不限于)PC卡、多媒体卡(MMC)或安全数字(SD)卡。

将经处理图像复制到系统存储器56中的显示缓冲器且经由视频编码器80连续读出以产生视频信号。此信号从相机直接输出以供在外部监视器上显示，或由显示器控制器82处理且在图像显示器88上呈现。此显示器通常是有源矩阵彩色液晶显示器(LCD)，但也使用其它类型的显示器。

通过在曝光控制器40和系统控制器50上执行的软件程序的组合来控制用户接口68，用户接口68包含取景器显示器70、曝光显示器72、状态显示器76、图像显示器88和用户输入74的任一组合。用户输入74通常包含按钮、摇臂开关、操纵杆、旋转式拨号盘或触摸屏的某种组合。曝光控制器40操作光计量、曝光模式、自动聚焦和其它曝光功能。系统控制器50管理在显示器中的一者或一者以上上，例如在图像显示器88上呈现的图形用户接口(GUI)。GUI通常包含用于做出各种选项选择和用于检查所俘获图像的审阅模式的菜单。

曝光控制器40接受选择曝光模式、透镜光圈、曝光时间(快门速度)和曝光指数或ISO感光速率的用户输入，且相应地引导透镜12和快门18以用于后续俘获。采用亮度传感器块16来测量场景的亮度，且提供曝光计功能以供用户在手动设定ISO感光速率、光圈和快门速度时参考。在此情况下，在用户改变一个或一个以上设定时，在取景器显示器70上呈现的曝光计指示器告知用户图像将过曝或欠曝的程度。在自动曝光模式中，用户改变一个设定且曝光控制器40自动更改另一设定来维持正确曝光，例如对于给定ISO感光速率，当用户减小透镜光圈时，曝光控制器40自动增加曝光时间以维持相同的总体曝光。

ISO感光速率是数字静态相机的重要属性。曝光时间、透镜光圈、透镜透射率、场景照明水平和谱分布以及场景反射率决定了数字静态相机的曝光级。当使用不足的曝光获得来自数字静态相机的图像时，通过增加电子或数字增益可大体上维持适当的色调再现，但所得图像将常常含有不可接受的噪声量。在增加曝光时，增益减小，且因此图像噪声可通常减少到可接受的水平。如果曝光过量增加，那么图像的亮区域中的所得信号可超过图像传感器或相机信号处理的最大信号电平容量。这可造成图像高光部分被剪辑而形成均匀亮区域，或“晕散(bloom)”到图像的周围区域中。因此，重要的是指导用户设定适当的曝光。ISO感光速率既定充当此指导。为了拍摄者容易理解，数字静态相机的ISO感光速率应与摄影胶片相机的ISO感光速率直接相关。举例来说，如果数字静态相机具有ISO 200的ISO感光速率，那么相同的曝光时间和光圈对于ISO 200级胶片/处理系统应是适当的。

ISO感光速率既定与胶片ISO感光速率协调。然而，在并不确切等效的电子系统与基于胶片的成像系统之间存在差异。数字静态相机可包含可变增益，且可在已俘获图像数据之后提供数字处理，从而使得能够在某一范围的相机曝光中实现色调再现。因此数字静态相机可能具有某一范围的感光速率。将此范围界定为ISO速度纬度。为了防止混淆，将单个值指定为固有ISO感光速率，其中ISO速度纬度上限和下限指示速度范围，也就是说，包含不同于固有ISO感光速率的有效感光速率的范围。在此情况下，固有ISO速度是根据在数字静态相机的焦平面处提供以产生指定相机输出信号特性的曝光计算的数字值。固有速度通常是针对给定相机系统对于正常场景产生最高图像质量的曝光指数值，其中曝光指数是与提供到图像传感器的曝光成反比的数字值。

数码相机的上述描述将是所属领域的技术人员熟悉的。显然此实施例存在可能的且经选择以降低成本、增加特征或改善相机性能的许多变型。以下描述将详细揭示根据本发明的用于俘获图像的此相机的操作。虽然此描述是参考数码相机，但将了解，本发明适用于具有具彩色像素和全色像素的图像传感器的任一类型的图像俘获装置。

图1所示的滤色器阵列图像传感器20通常包含在硅衬底上制造的光敏像素的二维阵列，其提供了将每一像素处的传入光转换为测量的电信号的方式。在滤色器阵列图像传感器20暴露于光时，在每一像素处的电子结构内产生且俘获自由电子。在某个时间周期中俘获这些自由电子且随后测量俘获的电子的数目或测量自由电子产生的速率可测量每一像素处的光级。在前一种情况下，累积的电荷移出像素阵列到达例如电荷耦合装置(CCD)中的电荷/电压测量电路，或者靠近每一像素的区域可含有例如有源像素传感器(APS或CMOS传感器)中的电荷/电压测量电路。

在以下描述中每当做出对图像传感器的一般参考时，将其理解为代表来自图1的滤色器阵列图像传感器20。进一步了解，本说明书中揭示的本发明的图像传感器架构和像素图案的所有实例及其均等物均用于滤色器阵列图像传感器20。

在图像传感器的上下文中，像素(“图元”的简称)指代离散光感测区域和与所述光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的上下文中，术语像素通常指代图像中具有相关联的色彩值的特定位置。

图2是拜耳在第3,971,065号美国专利中描述的众所周知的滤色器阵列图案的最小重复单元。最小重复单元在滤色器阵列传感器20(图1)的表面上重复，进而在每一像素位置产生红像素、绿像素或蓝像素。滤色器阵列传感器20(图1)以图2的滤色器阵列图案产生的数据可用以用所属领域的技术人员已知的许多方式产生全彩色图像。亚当斯等人在第5,506,619号美国专利中描述一个实例。

图3是本发明的优选实施例的最小重复单元。其为4x4正方形像素阵列，其中绿像素与全色像素以及各自在四个方向中的每一方向上(左、右、上和下)具有三个邻近的全色像素的红像素和蓝像素水平且垂直交替。图3的最小重复单元在滤色器阵列传感器20(图1)的表面上重复，进而在每一像素位置处产生红像素、绿像素、蓝像素或全色像素。因此，全色像素在传感器的表面上以棋盘图案布置。彩色像素也在传感器的表面上以棋盘图案布置。

图4A展示用于本发明的替代实施例的最小重复单元。其为2x4矩形像素阵列，其中绿像素与全色像素以及与全色像素垂直交替的红像素和蓝像素水平且垂直交替。此布置可经转置而获得图4B的图案，其展示4x2矩阵像素阵列，其中绿像素与全色像素以及与全色像素水平交替的红像素和蓝像素水平且垂直交替。图4A或图4B的最小重复单元在滤色器阵列传感器20(图1)的表面上倾斜，进而在每一像素位置处产生红像素、绿像素、蓝像素或全色像素。因此，全色像素在传感器的表面上以棋盘图案布置。彩色像素也在传感器的表面上以棋盘图案布置。

图5A展示本发明的另一替代实施例的4x4最小重复单元。此布置类似于图3所示的布置，不同的是彩色像素在对角线方向上而不是水平且垂直地与全色像素交替。特定来说，可见，红、绿和蓝像素在两个对角线方向上与全色像素对角地交替。(应注意，可通过倾斜最小重复单元以查看像素线如何从最小重复单元的一侧回绕到另一侧，来最佳地视觉化沿着对角线的完整图案。)在此布置中，可见，彩色像素的列与全色像素的列交替。此布置可经转置以获得图5B的图案，其为4x4正方形像素阵列，其中红、绿和蓝像素在两个对角线方向上与全色像素对角地交替。在此情况下，彩色像素的行与全色像素的行交替。

图5A或图5B的最小重复单元在滤色器阵列传感器20(图1)的表面上倾斜，进而在每一像素位置处产生红像素、绿像素、蓝像素或全色像素。因此，全色像素在传感器的表面上以交替的行或列布置。彩色像素也在传感器的表面上以交替的行或列布置。这对于传感器的偶数与奇数行(或列)的增益可能存在小差异的传感器设计可为有利的。在偶数或奇数行上具有给定类型的所有像素可减少在CFA内插过程期间由于交替的增益值而有时产生的假象。

除了图3、图4A、图4B、图5A和图5B所示的CFA图案，本发明可针对其它大小和布置的CFA图案进行一般化。在每一情况下，像素将以具有至少八个像素且具有至少两行和两列的矩形最小重复单元来布置，其中对于第一色彩响应，具有第一色彩响应的彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在重复图案的仅具有给定色彩响应的彩色像素和全色像素的至少一行、列或对角线。

描述根据本发明的CFA图案的另一方式是像素以具有矩形最小重复单元的重复图案来布置，所述矩形最小重复单元具有至少八个像素且具有至少两行和两列，其中针对至少一个色彩响应的彩色像素在至少两个方向上与全色像素交替，且其中针对其它色彩响应的彩色像素在至少一个方向上与全色像素交替，或在至少两个方向上在彩色像素的两侧具有至少两个邻近的全色像素。

图25展示满足这些准则的具有2x8矩形像素阵列的最小重复单元的另一实例。在此情况下，绿像素与全色像素水平且垂直交替，且红像素和蓝像素与全色像素垂直交替，且与左边和右边的三个全色像素水平侧接。

满足以上准则的CFA图案的所需特性是每个彩色像素由四个全色像素围绕(水平/垂直或对角地)的事实。因此，通过周围的全色像素之间的内插，可在彩色像素的位置处容易确定高度准确的经内插全色值。此外，针对至少一个色彩响应的彩色像素在至少两个方向上与全色像素交替。因此，针对至少一个色彩响应(例如，绿)的彩色像素将在规则栅格上布置，从而使得能够容易内插对应的色差。针对其它色彩响应(例如，红和蓝)的彩色像素也将在规则栅格上发生，但重复周期可大于在一个或两个方向上所述一个色彩响应的情况。较大周期将与经内插色差的对应较大的内插误差相关联。然而，这些色彩响应在视觉上不太重要，使得任何假象的可见性将较为无害。

图3、图4A、图4B、图5A、图5B和图25中所示的实例CFA图案是红、绿和蓝。所属领域的技术人员将了解，根据本发明也可使用其它类型的彩色像素。举例来说，在本发明的替代实施例中，彩色像素可为青、洋红和黄。在本发明的另一实施例中，彩色像素可为青、黄和绿。在本发明的又一实施例中，彩色像素可为青、洋红、黄和绿。也可使用许多其它类型和组合的彩色像素。

图6是根据本发明优选实施例的用于根据从例如图3、图4A、图4B、图5A、图5B或图25中所示最小重复单元的最小重复单元产生的数据产生全色彩输出图像的算法的高级图。图像传感器20(图1)产生滤色器阵列图像100。在滤色器阵列图像100中，每一像素位置是红、绿、蓝或全色像素，如例如图3、图4A、图4B、图5A、图5B或图25中所示最小重复单元的最小重复单元所确定。内插全色图像块102根据滤色器阵列图像100产生经内插全色图像104。产生色差块108根据滤色器阵列图像100和经内插全色图像104产生色差值110。内插色差图像块112根据色差值110产生经内插色差图像114。产生经内插彩色图像块106根据经内插全色图像104和经内插色差图像114产生经内插彩色图像120。最终，融合图像块118根据经内插全色图像104和经内插彩色图像120产生全色彩输出图像116。

现在将更详细描述图6中所示的方法的每一步骤。图7是在内插全色图像块102(图6)中用来确定在图3所示的CFA图案中的绿像素位置处的经内插全色像素值的像素相邻者的详图。在图7中，C₂、C₅、C₇、C₉和C_C指代来自滤色器阵列图像100(图6)的绿像素值且P₁、P₃、P₄、P₆、P₈、P_A、P_B和P_D指代来自滤色器阵列图像100(图6)的全色像素值。为了产生经内插全色值P′₇，执行以下计算。

h＝2|P₆-P₈|+α|C₅-2C₇+C₉|

v＝2|P₃-P_B|+α|C₂-2C₇+C_C|

$H=\frac{P_6+P_8}{2}+\mathrm{\α}\frac{-C_5+{2C}_7-C_9}{8}$

$V=\frac{P_3+P_B}{2}+\mathrm{\α}\frac{{-C}_2+2C_7-C_C}{8}$

${P^{\′}}_7=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′₇的过程中对彩色像素值加权的程度。内插全色图像块102(图6)在滤色器阵列图像100(图6)中的每一绿像素位置处重复这些计算以产生对应的经内插全色值P′₇。

图8是在内插全色图像块102(图6)中用来确定在图3所示的CFA图案中的红像素和蓝像素位置处的经内插全色像素值的像素相邻者的详图。在图8中，C₁、C₅、C₉、C_D和C_H指代来自滤色器阵列图像100(图6)的同一色彩(红或蓝)的彩色像素且P₂、P₃、P₄、P₆、P₈、P_A、P_B、P_C、P_E、P_F和P_G指代来自滤色器阵列图像100(图6)的全色像素。在图8中，在C₉的上方、下方、左边和右边存在三个邻近的全色像素值。为了产生经内插全色值P′₉，执行以下计算。

h＝|P₇-P₈|+|P₈-P_A|+|P_A-P_B|+α|C₅-2C₉+C_D|

v＝|P₃-P₄|+|P₄-P_E|+|P_E-P_F|+α|C₁-2C₉+C_H|

$H=\frac{{-P}_7+{4P}_8+{4P}_A-P_B}{6}+\mathrm{\α}\frac{{-C}_5+{2C}_9-C_d}{16}$

$V=\frac{{-P}_3+{4P}_4+{4P}_E-P_F}{2}+\mathrm{\α}\frac{{-C}_1+{2C}_9-C_H}{8}$

${P^{\′}}_9=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′₉的过程中对彩色像素值加权的程度。内插全色图像块102(图6)在滤色器阵列图像100(图6)中的每一红色和蓝色像素位置处重复这些计算以产生对应的经内插全色值P′₉。与原始全色值组合的经内插全色值(红、绿和蓝像素位置)构成经内插全色图像(图6)。

在用于早先描述的替代CFA图案的内插全色图像块102(图6)中可使用类似的计算。对于图4A和图4B中所示的CFA图案，绿像素以与图3中相同的方式与全色像素交替。因此，先前相对于图7描述的内插方法也可应用于图4A和图4B的CFA图案。图9A和图9B是针对图4A和图4B所示的CFA图案中的红像素和蓝像素可在内插全色图像块102(图6)中使用的像素相邻者的详图。图9A对应于图4A的CFA图案，且图9B对应于图4B的CFA图案。在图9A中，C₂、C_B和C_K是红像素，且D₉和D_D是蓝像素，或C₂、C_B和C_K是蓝像素，且D₉和D_D是红像素。G₄、G₆、G_G和G_I是绿像素且P₁、P₃、P₅、P₇、P₈、P_A、P_C、P_E、P_F、P_H、P_J和P_L是全色像素。为了产生经内插全色值P′_B，执行以下计算。

h＝4|P_A-P_C|+|P₃-2P₅+P₇|+|P_F+2P_H+P_J|

v＝2|P₅-P_H|+α|C₂-2C_B+C_K|

$H=\frac{{-P}_8+{9P}_A+{9P}_C-P_E}{16}$

$V=\frac{P_5+P_H}{2}+\mathrm{\α}\frac{{-C}_2+{2C}_B-C_K}{8}$

${P^{\′}}_B=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′_B的过程中对彩色像素值加权的程度。在图9B中，C₉、C_B和C_D是红像素，且D₃和D_J是蓝像素，或C₉、C_B和C_D是蓝像素，且D₃和D_J是红像素。G₅、G₇、G_F和G_H是绿像素且P₁、P₃、P₅、P₇、P₈、P_A、P_C、P_E、P_F、P_H、P_J和P_L是全色像素。为了产生经内插全色值P′_B，执行以下计算。

h＝2|P_A-P_C|+α|C₉-2C_B+C_D|

v＝4|P₆-P_G|+|P₂-2P_A+P₁|+|P₄-2P_C+P_K|

$H=\frac{P_A-P_C}{2}+\mathrm{\α}\frac{-C_9+{2C}_B-C_D}{8}$

$V=\frac{{-P}_1+{9P}_6+{9P}_G-P_L}{16}$

${P^{\′}}_B=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′_B的过程中对彩色像素值加权的程度。

图10是针对图5A和图5B所示的CFA图案用于在内插全色图像块102(图6)中使用的像素相邻者的详图。在图10中，C₁、C₂、C₅、C₈和C₉指代来自滤色器阵列图像100(图6)的同一色彩的彩色像素。P₃、P₄、P₆和P₇指代全色像素。在图10中，全色像素在两个对角线方向上与彩色像素交替。为了产生经内插全色值P′₅，执行以下计算。

s＝2|P₄-P₆|+α|C2-2C₅+C₈|

b＝2|P₃-P₇|+α|C₁-2C₅+C₉|

$S=\frac{P_4-P_6}{2}+\mathrm{\α}\frac{{-C}_2+{2C}_5-C_8}{8}$

$B=\frac{P_3-P_7}{2}+\mathrm{\α}\frac{-C_1+{2C}_5-C_9}{8}$

${P^{\′}}_5=\frac{s}{s+b}B+\frac{b}{s+b}S$

其中α是常数，且s、b、S和B是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′₅的过程中对彩色像素值加权的程度。内插全色图像块102(图6)在滤色器阵列图像100(图6)中的每一彩色像素位置处重复这些计算以产生对应的经内插全色值P′₅。与原始全色值(图10中的P₃、P₄、P₆和P₇)组合的经内插全色值构成经内插全色图像104(图6)。

图11A和图11B是针对图5A所示的CFA图案可用于内插全色图像块102(图6)的替代实施例的像素相邻者的详图。在图11A中，分别地，C₃是来自滤色器阵列图像100(图6)的红或蓝像素，且D_B是来自滤色器阵列图像100(图6)的蓝或红像素。G₁、G₅、G₇、G₉和G_D是绿像素，且P₂、P₄、P₆、P₈、P_A和P_C是全色像素。在图11A中，全色像素在水平方向上与绿像素交替。为了产生经内插全色值P′₇，执行以下计算。

h＝2|P₆-P₈|+α|C₅-2C₇+C₉|

v＝|P₂-P₆|+|P₆-P_A|+|P₄-P₈|+|P₈-P_C|

$H=\frac{P_6+P_8}{2}+\mathrm{\α}\frac{-C_5+{2C}_7-C_9}{8}$

$V={\mathrm{\βC}}_3+\mathrm{\γ}{G}_7+{\mathrm{\δD}}_B$

${P^{\′}}_7=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α、β、γ和δ是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′₇的过程中对彩色像素值加权的程度。本发明的优选实施例中β、γ和δ的值是三分之一。所属领域的技术人员将了解，也可使用β、γ和δ的其它值。改变β、γ和δ的值具有的作用是控制经内插全色值V与例如P₆和P₈等测得的全色值的色彩响应相匹配的接近程度。

在图11B中，分别地，C_A是来自滤色器阵列图像100(图6)的红或蓝像素，且D₁、D₈、D_C和D_J是来自滤色器阵列图像100(图6)的蓝或红像素。G₂、G₄、G₆、G_E、G_G和G_I是绿像素，且P₃、P₅、P₇、P₉、P_B、P_F和P_H是全色像素。为了产生经内插全色值P′_A，执行以下计算。

h＝|P₃-P₅|+2|P₉-P_B|+|P_F-P_H|

v＝|P₃-P₉|+|P₉-P_F|+|P₅-P_B|+|P_B-P_H|

$H=\frac{{-P}_7+{9P}_9+{9P}_B-P_D}{16}$

$V={\mathrm{\βC}}_A+\mathrm{\γ}\frac{G_4+G_G}{2}+\mathrm{\δ}\frac{D_1+D_J}{2}$

${P^{\′}}_A=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中β、γ和δ是常数，且h、v、H和V是中间变量。本发明的优选实施例中β、γ和δ的值是三分之一。所属领域的技术人员将了解，也可使用β、γ和δ的其它值。改变β、γ和δ的值具有的作用是控制经内插全色值V与例如P₉和P_B等测得的全色值的色彩响应相匹配的接近程度。

图12A和图12B是针对图5B所示的CFA图案可用于内插全色图像块102(图6)的替代实施例的像素相邻者的详图。在图12A中，分别地，C₆是来自滤色器阵列图像100(图6)的红或蓝像素，且D₈是来自滤色器阵列图像100(图6)的蓝或红像素。G₁、G₅、G₇、G₉和G_D是绿像素，且P₂、P₃、P₄、P_A、P_B和P_C是全色像素。在图12A中，全色像素在垂直方向上与绿像素交替。为了产生经内插全色值P′₇，执行以下计算。

h＝|P₂-P₃|+|P₃-P₄|+|P_A-P_B|+|P_B-P_C|

v＝2|P₃-P_B|+α|G₁-2G₇+G_D|

H＝βC₆+γG₇+δD₈

$V=\frac{P_3+P_B}{2}+\mathrm{\α}\frac{{-G}_1+{2G}_7-G_D}{8}$

${P^{\′}}_7=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中α、β、γ和δ是常数，且h、v、H和V是中间变量。本发明的优选实施例中α的值是零。在本发明的替代实施例中，α的值是一。所属领域的技术人员将了解，也可使用α的其它值。改变α的值具有的作用是控制在确定经内插全色值P′₇的过程中对彩色像素值加权的程度。本发明的优选实施例中β、γ和δ的值是三分之一。所属领域的技术人员将了解，也可使用β、γ和δ的其它值。改变β、γ和δ的值具有的作用是控制经内插全色值H与例如P₃和P_B等测得的全色值的色彩响应相匹配的接近程度。

在图12B中，分别地，C_A是来自滤色器阵列图像100(图6)的红或蓝像素，且D₃、D₈、D_C和D_R是来自滤色器阵列图像100(图6)的蓝或红像素。G₂、G₄、G₉、G_B、G_G和G_I是绿像素，且P₁、P₅、P₆、P₇、P_D、P_E、P_F和P_j是全色像素。为了产生经内插全色值P′_A，执行以下计算。

h＝|P₅-P₆|+|P₆-P₇|+|P_D-P_E|+|P_E-P_F|

v＝|P₅-P_D|+2|P₆-P_E|+|P₇-P_F|

$H={\mathrm{\βC}}_A+\mathrm{\γ}\frac{G_9+G_B}{2}+\mathrm{\δ}\frac{D_8+D_C}{2}$

$V=\frac{{-P}_1+{9P}_6+{9P}_E+P_J}{16}$

${P^{\′}}_A=\frac{h}{h+v}V+\frac{v}{h+v}H$

其中β、γ和δ是常数，且h、v、H和V是中间变量。本发明的优选实施例中β、γ和δ的值是三分之一。所属领域的技术人员将了解，也可使用β、γ和δ的其它值。改变β、γ和δ的值具有的作用是控制经内插全色值V与例如P₆和P_E等测得的全色值的色彩响应相匹配的接近程度。

图13是用于内插色差图像块112(图6)中以确定图3中所示的CFA图案的优选实施例的绿差值的像素邻域的详图。在图13中，D₁、D₃、D₇和D₉是由用于绿像素的产生色差块108(图6)产生的色差值110(图6)。如下计算D₁、D₃、D₇和D₉的值。

D₁＝G₁-P′₁

D₃＝G₃-P′₃

D₇＝G₇-P′₇

D₉＝G₉-P′₉

在这些实施方案中，G指代来自滤色器阵列图像100(图6)的原始绿像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。下标对应于图13中所示的像素位置。

内插色差图像块112(图6)在图13中的不具有现有的色差值D的像素位置处产生经内插色差值D′。对色差值D₁、D₃、D₇和D₉的标准双线性内插产生经内插色差值D′。以下等式展示可用于确定经内插色差值D′的显式计算：

D′₂＝(D₁+D₃)/2

D′₄＝(D₁+D₇)/2

D′₅＝(D₁+D₃+D₇+D₉)/4

D′₆＝(D₃+D₉)/2

D′₈＝(D₇+D₉)/2

与色彩值(D₁、D₃、D₇和D₉)组合的经内插色差值构成经内插色差图像114(图6)。

图14是用于内插色差图像块112(图6)中以确定图3中所示的CFA图案的优选实施例的红和蓝差值的像素邻域的详图。在图14中，D₀、D₄、D_K和D_P是由用于红和蓝像素的产生色差块108(图6)产生的色差值110(图6)。在以下论述中，将假定红像素，但将显然的是，相同方法可适用于蓝像素。如下计算D₀、D₄、D_K和D_P的值。

D₀＝R₀-P′₀

D₄＝R₄-P′₄

D_K＝R_K-P′_K

D_P＝R_P-P′_P

在这些实施方案中，R指代来自滤色器阵列图像100(图6)的原始红像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。下标对应于图14中所示的像素位置。内插色差图像块I12(图6)在图14中的不具有现有的色差值D的像素位置处产生经内插色差值D′。对色差值D₀、D₄、D_K和D_P的标准双线性内插产生经内插色差值D′。以下等式展示可用于确定经内插色差值D′的显式计算：

D′₁＝(3D₀+D₄)/4

D′₂＝(D₀+D₄)/2

D′₃＝(D₀+3D₄)/4

D′₅＝(3D₀+D_K)/4

D′₆＝(9D₀+3D₄+3D_K+D_P)/16

D′₇＝(3D₀+3D₄+D_K+D_P)/8

D′₈＝(3D₀+9D₄+D_K+3D_P)/16

D′₉＝(3D₄+D_P)/4

D′_A＝(D₀+D_K)/2

D′_B＝(3D₀+D₄+3D_K+D_P)/8

D′_C＝(D₀+D₄+D_K+D_P)/4

D′_D＝(D₀+3D₄+D_K+3D_P)/8

D′_E＝(D₄+D_P)/2

D′_F＝(D₀+3D_K)/4

D′_G＝(3D₀+D₄+9D_K+3D_P)/16

D′_H＝(D₀+D₄+3D_K+3D_P)/8

D′₁＝(D₀+3D₄+3D_K+9D_P)/16

D′_L＝(D₄+3D_P)/4

D′_L＝(3D_K+D_P)/4

D′_M＝(D_K+D_P)/2

D′_N＝(D_K+3D_P)/4

与色彩值(D₁、D₃、D₇和D₉)组合的经内插色差值构成经内插色差图像114(图6)。

产生经内插彩色图像块106(图5)从经内插色差值D′和对应的全色值(原始的或经内插的)产生经内插色彩值R′、G′和B′。再次参看图13，执行以下计算。

G′₂＝D′₂+P₂

G′₄＝D′₄+P₄

G′₅＝D′₅+P′₅

G′₆＝D′₆+P₆

G′₈＝D′₈+P₈

原始色彩值G与经内插色彩值G′一起产生经内插彩色图像120(图6)的绿值。前述组操作可针对关于图14的红和蓝像素值而一般化，以完成经内插彩色图像120(图6)的产生。根据本发明的方法，类似的策略可用于确定经内插彩色图像120的其它CFA图案变化，例如，图4A、4B、5A、5B或25中所示的CFA图案变化。对于给定色彩，第一步骤是计算其中那个色彩出现在CFA图案中的像素位置处的色差值。下一内插步骤用于通过在第一步骤中所发现的色差值之间进行内插而确定剩余像素的色差值。此针对色彩中的每一者(即，红、绿和蓝)重复。最终，通过将色差值添加到经内插全色图像而发现经内插色彩值。

图15A和15B是用于图4A和4B的替代实施例中所示的CFA图案的内插色差图像块112(图6)中的像素邻域的详图。图15A对应于图4A，且图15B对应于图4B。在图15A中，D₀、D₄、D_A和D_E是由产生色差块108(图6)产生的色差值110(图6)。D₀、D₄、D_A和D_E的位置对应于滤色器阵列图像100(图6)中的所有红像素，所有绿像素或所有蓝像素。以下实例将假定红像素；然而，过程可类似地适用于绿和蓝像素。如下计算D₀、D₄、D_A和D_E的值：

D₀＝R₀-P′₀

D₄＝R₄-P′₄

D_A＝R_A-P′_A

D_E＝R_E-P′_E

在这些实施方案中，R指代来自滤色器阵列图像100(图6)的原始红像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。返回到图15A，内插色差图像块112(图6)在不具有现有的色差值D的像素位置处产生经内插色差值D′。根据以下显式计算，对色差值D₀、D₄、D_A和D_E的标准双线性内插产生经内插色差值D′：

D′₁＝(3D₀+D₄)/4

D′₂＝(D₀+D₄)/2

D′₃＝(D₀+3D₄)/4

D′₅＝(D₀+D_A)/2

D′₆＝(3D₀+D₄+3D_A+D_E)/8

D′₇＝(D₀+D₄+D_A+D_E)/4

D′₈＝(D₀+3D₄+D_A+3D_E)/8

D′₉＝(D₄+D_E)/2

D′_B＝(3D_A+D_E)/4

D′c＝(D_A+D_E)/2

D′_D＝(D_A+3D_E)/4

经内插色差值与色彩值(D₀、D₄、D_A和D_E)一起构成经内插色差图像114(图6)。

产生经内插彩色图像块106(图6)从经内插色差值D′和对应的全色值(原始的或经内插的)产生经内插色彩值R′。再次参看图15A，执行以下计算：

R′₁＝D′₁+P₁

R′₂＝D′₂+P₂′

R′₃＝D′₃+P₃

R′₅＝D′₅+P₅

R′₆＝D′₆+P₆

R′₇＝D′₇+P₇

R′₈＝D′₉+P′₈

R′₉＝D′₉+P₉

R′_B＝D′_B+P_B

R′c＝D′_c+P′c

R′_D＝D′_D+P_D

原始色彩值R与经内插色彩值R′构成经内插彩色图像120(图6)的红值。前述过程针对绿和蓝像素重复。

类似地，在图15B中，D₀、D₂、D_C和D_E是由产生色差块108(图6)产生的色差值110(图6)。D₀、D₂、D_C和D_E的位置对应于滤色器阵列图像100(图6)中的所有红像素，所有绿像素或所有蓝像素。以下实例将假定红像素；然而，过程可类似地适用于绿和蓝像素。如下计算D₀、D₂、D_C和D_E的值：

D₀＝R₀-P′₀

D₂＝R₂-P₂′

D_C＝R_C-P′_C

D_E＝R_E-P′_E

在这些实施方案中，R指代来自滤色器阵列图像100(图6)的原始红像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。

返回到图15B，内插色差图像块112(图6)在不具有现有的色差值D的像素位置处产生经内插色差值D′。根据以下显式计算，对色差值D₀、D₂、D_C和D_E的标准双线性内插产生经内插色差值D′：

D′₁＝(D₀+D₂)/2

D′₃＝(3D₀+D_C)/4

D′₄＝(3D₀+3D₂+D_C+D_E)/8

D′₅＝(3D₂+D_E)/2

D′₆＝(D₀+D_C)/2

D′₇＝(D₀+D₂+D_C+D_E)/4

D′₈＝(D₂+D_E)/2

D′₉＝(D₀+3D_C)/4

D′_A＝(D₀+D₂+3D_C+3D_E)/8

D′_B＝(D₂+3D_E)/2

D′_D＝(D_C+D_E)/2

经内插色差值与色彩值(D₀、D₂、D_C和D_E)一起构成经内插色差图像114(图6)。

产生经内插彩色图像块106(图6)从经内插色差值D′和对应的全色值(原始的或经内插的)产生经内插色彩值R′。再次参看图15B，执行以下计算：

R′₁＝D′₁+P₁

R′₃＝D′₃+P′₃

R′₄＝D′₄+P₄

R′₅＝D′₅+P₅

R′₆＝D′₆+P′₆

R′₇＝D′₇+P₇

R′₈＝D′₈+P′₈

R′₉＝D′₉+P₉

R′_A＝D′_A+P_A

R′_B＝D′_B+P′_B

R′_D＝D′_D+P_D

原始色彩值R与经内插色彩值R′构成经内插彩色图像120(图6)的红值。前述过程针对绿和蓝像素重复。

图16A和16B是可用于内插图5A和5B的替代CFA图案实施例的内插色差图像块112(图6)中的色差值的像素邻域的详图。图16A对应于图5A，且图16B对应于图5B。在图16A中，D₀、D₄、D₈和D_C是由产生色差块108(图6)产生的色差值110(图6)。D₀、D₄、D₈和D_C的位置对应于滤色器阵列图像100(图6)中的所有红像素，所有绿像素或所有蓝像素。以下实例将假定红像素；然而，过程可类似地适用于绿和蓝像素。如下计算D₀、D₄、D₈和D_C的值：

D₀＝R₀-P′₀

D₄＝R₄-P′₄

D₈＝R₈-P′₈

D_C＝R_C-P′_C

在这些实施方案中，R指代来自滤色器阵列图像100(图6)的原始红像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。返回到图16A，内插色差图像块112(图6)在不具有现有的色差值D的像素位置处产生经内插色差值D′。对色差值D₀、D₄、D₈和D_C的标准双线性内插产生经内插色差值D′。显式计算如下：

D′₁＝(D₀+D₄)/2

D′₂＝(9D₀+3D₄+3D₈+D_C)/16

D′₃＝(D₀+D₈)/2

D′₅＝(3D₀+9D₄+D₈+3D_C)/16

D′₆＝(D₀+D₄+D₈+D_C)/4

D′₇＝(3D₀+D₄+9D₈+3D_C)/16

D′₉＝(D₄+D_C)/2

D′_A＝(D₀+3D₄+3D₈+9D_C)/16

D′_B＝(D₈+D_C)/2

经内插色差值与色彩值(D₀、D₄、D₈和D_C)一起构成经内插色差图像114(图6)。

产生经内插彩色图像块106(图6)从经内插色差值D′和对应的全色值(原始的或经内插的)产生经内插色彩值R′。再次参看图16A，执行以下计算：

R′₁＝D′₁+P₁

R′₂＝D′₂+P₂′

R′₃＝D′₃+P₃

R′₅＝D′₅+P₅

R′₆＝D′₆+P′₆

R′₇＝D′₇+P₇

R′₉＝D′₉+P₉

R′_A＝D′_A+P′_A

R′_B＝D′_B+P_B

原始色彩值R与经内插色彩值R′一起构成经内插彩色图像120(图6)的红值。针对绿和蓝像素值重复前述组操作，以完成经内插彩色图像120(图6)的产生。

在图16B中，D₀、D₄、D₈和D_C是由产生色差块108(图6)产生的色差值110(图6)。D₀、D₄、D₈和D_C的位置对应于滤色器阵列图像100(图6)中的所有红像素，所有绿像素或所有蓝像素。以下实例将假定红像素；然而，过程可类似地适用于绿和蓝像素。如下计算D₀、D₄、D₈和D_C的值：

D₀＝R₀-P′₀

D₄＝R₄-P′₄

D₈＝R₈-P′₈

D_C＝R_C-P′_C

在这些实施方案中，R指代来自滤色器阵列图像100(图6)的原始红像素值，且P′指代来自经内插全色图像104(图6)的对应的经内插全色值。

返回到图16B，内插色差图像块112(图6)在不具有现有的色差值D的像素位置处产生经内插色差值D′。对色差值D₀、D₄、D₈和D_C的标准双线性内插产生经内插色差值D′。显式计算如下：

D′₁＝(D₀+D₄)/2

D′₂＝(9D₀+3D₄+3D₈+D_C)/16

D′₃＝(D₀+D₈)/2

D′₅＝(3D₀+9D₄+D₈+3D_C)/16

D′₆＝(D₀+D₄+D₈+D_C)/4

D′₇＝(3D₀+D₄+9D₈+3D_C)/16

D′₉＝(D₄+D_C)/2

D′_A＝(D₀+3D₄+3D₈+9D_C)/16

D′_B＝(D₈+D_C)/2

经内插色差值与色彩值(D₀、D₄、D₈和D_C)一起构成经内插色差图像114(图6)。

产生经内插彩色图像块106(图6)从经内插色差值D′和对应的全色值(原始的或经内插的)产生经内插色彩值R′。再次参看图16B，执行以下计算：

R′₁＝D′₁+P₁

R′₂＝D′₂+P₂

R′₃＝D′₃+P₃

R′₅＝D′₅+P′₅

R′₆＝D′₆+P′₆

R′₇＝D′₇+P′₇

R′₉＝D′₉+P₉

R′_A＝D′_A+P_A

R′_B＝D′_B+P_B

原始色彩值R与经内插色彩值R′一起构成经内插彩色图像120(图6)的红值。针对绿和蓝像素值重复前述组操作，以完成经内插彩色图像120(图6)的产生。

图17是融合图像块118的优选实施例的框图(图6)。低通滤波器块204从经内插彩色图像120(图6)产生低频彩色图像206。高通滤波器块200从经内插全色图像104(图6)产生高频全色图像202。最终，合并图像块208通过组合低频彩色图像206与高频全色图像202而产生全色彩输出图像116(图6)。

低通滤波器块204使用低通滤波器执行对经内插彩色图像120(图6)的卷积。在本发明的优选实施例中，使用以下卷积核：

$g=\frac{1}{16}\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

数学上，C_L＝C*g，其中C是经内插彩色图像120(图6)，C_L是低频彩色图像206且“*”表示卷积运算符。所属领域的技术人员将清楚，根据本发明可使用其它卷积核。

高通滤波器块200使用低通滤波器执行对经内插全色图像104(图6)的卷积。在本发明的优选实施例中，使用以下卷积核：

$h=\frac{1}{16}\left(\begin{array}{ccc}-1& -2& -1\\ -2& -12& -2\\ -1& -2& -1\end{array}\right)$

数学上，P_H＝P*h，其中P是经内插全色图像104(图6)，且P_H是高频全色图像202。所属领域的技术人员将清楚，根据本发明可使用其它卷积核。

合并图像块208将高频全色图像202与低频彩色图像206组合在一起以产生全色彩输出图像116(图6)。在本发明的优选实施例中，这是通过简单地将高频全色图像202与低频彩色图像206相加而完成。数学上，C′＝C_L+P_H，其中C′是全色彩输出图像116(图6)，且其它项如先前所定义。

图18是融合图像块118的替代实施例的框图(图6)。金字塔分解块300从经内插全色图像104(图6)产生全色图像金字塔302。金字塔分解块304从经内插全色图像120(图6)产生彩色图像金字塔306。最终，经合并金字塔重构块308通过组合全色图像金字塔302与彩色图像金字塔306而产生全色彩输出图像116(图6)。金字塔分解块300通过所属领域的技术人员将知道的方法而产生标准高斯-拉普拉斯图像金字塔。简单来说，执行以下计算。

P₁＝(P₀*g)↓2    Q₁＝P₀-(P₁↑2)

P₂＝(P₀*g)↓2    Q₂＝P₁-(P₂↑2)

:                :

.                .

P_N＝(P_N-1*g)↓2  Q_N＝P_N-1-(P_N↑2)

P₀是经内插全色图像104(图6)。P₀用已在先前描述的低通滤波器卷积核进行卷积。通过因子2在水平上以及垂直上两者对所述卷积运算的结果进行子取样(↓2)。子取样的结果为P₁，全色图像金字塔302的对应高斯金字塔的第一级分量。此过程继续产生P₂到P_N，其中N为金字塔级的所要数目。在本发明的一个实施例中，N＝4。

Q₁是全色图像金字塔302的对应拉普拉斯金字塔的第一级分量。其是通过以下操作计算出：取得高斯金字塔的第一级分量P₁，且通过因子2在水平上和垂直上两者对其进行上取样(↑2)，且随后从经内插全色图像104(图6)减去所述结果。可以所属领域的技术人员已知的任何方式来执行所述上取样操作。在本发明的一个实施例中，使用众所周知的双线性内插来执行所述上取样。此过程继续产生Q₂到Q_N。一起取得的金字塔分量{P₁，...，P_N，Q₁，...，Q_N}构成金字塔图像金字塔302。

以与金字塔分解块300相同的方式执行金字塔分解块304，不同之处在于，经内插彩色图像120(图6)的每一色彩经单独处理以产生红、绿和蓝金字塔，所述红、绿和蓝金字塔一起构成彩色图像金字塔306。为了建立标记法，由金字塔分解块304执行的计算如下：

C₁＝(C₀*g)↓2    H₁＝C₀-(C₁↑2)

C₂＝(C₁*g)↓2    H₂＝C₁-(C₂↑2)

:                :

.                .

C_N＝(C_N-1*g)↓2  H_N＝C_N-1-(C_N↑2)

金字塔分量{C₁，...，C_N}一起构成色彩高斯金字塔，且金字塔分量{H₁，...，H_N}一起构成色彩拉普拉斯金字塔。

经合并金字塔重构块308执行以下计算，所述计算为所属领域的技术人员将知道的对标准高斯-拉普拉斯金字塔重构的修改：

$\left\{\begin{array}{c}{C^{\′}}_{N-1}=(C_N\↑2)+H_N\\ {P^{\′}}_{N-1}=(P_N\↑2)+Q_N\\ {C^{\′}}_{N-1}={P^{\′}}_{N-1}*h+{C^{\′}}_{N-1}*g\end{array}\right.$

$\left\{\begin{array}{c}{C^{\′}}_{N-2}=({C^{\′\′}}_{N-1}\↑2)+H_{N-1}\\ {P^{\′}}_{N-2}=({P^{\′}}_{N-1}\↑2)+Q_{N-1}\\ {C^{\′}}_{N-2}={P^{\′}}_{N-2}*h+{C^{\′}}_{N-2}*g\end{array}\right.$

$\left\{\begin{array}{c}{C^{\′}}_0=({C^{\′\′}}_1\↑2)+H_1\\ {P^{\′}}_0=({P^{\′}}_1\↑2)+Q_1\\ {C^{\′\′}}_0={P^{\′}}_0*h+{C^{\′}}_0*g\end{array}\right.$

在每一组三个计算中，高斯色彩金字塔分量C或经合并高斯色彩金字塔分量C″通过因子2对被上取样，且被添加到拉普拉斯色彩金字塔分量H。随后，高斯全色金字塔分量P或P′通过2被上取样，且被添加到拉普拉斯全色金字塔分量Q。所得的高斯色彩金字塔分量C′与先前所描述的低通卷积核g进行卷积，所得的高斯全色金字塔分量P′与先前所描述的高通卷积核h进行卷积，且结果一起相加以产生经合并高斯色彩金字塔分量C″。重复这些计算，直到产生全色彩输出图像116(图6)C″₀为止。

可在多种用户背景和环境中使用本发明的优选实施例中所揭示的用于计算全色彩输出图像的算法。示范性背景和环境包含(并非限制)相机中的处理(读取传感器图像、数字处理、将所处理的图像保存于数字媒体上)、大批数字照相洗印加工(其涉及示范性过程步骤或阶段，例如提交数字图像以用于大批执行、数字处理和数字打印)、少量数字照相洗印加工(提供数字图像以用于少量执行、数字处理和数字打印)，家庭打印(输入家庭数字图像、数字处理并在家庭打印机上打印)、桌面软件(将算法应用于数字图像以使其更佳或甚至仅对其进行改变的软件)、数字执行(从媒体或经由网络输入数字图像、数字处理、在媒体上，经由因特网以数字形式输出数字图像)、触控一体机(输入数字图像、数字处理、数字打印或输出数字媒体)、移动装置(例如，PDA或手机，其可用作处理单元、显示器单元或用以给出处理指令的单元)，以及作为经由万维网提供的服务。

在每一情况下，用于计算全色彩输出图像的算法可为独立的或可为较大系统解决方案的组件。此外，与算法的交互(例如，输入、数字处理、向用户的显示(在需要时)、用户请求或处理指令的输入(在需要时)，以及输出)可各自在相同或不同装置以及物理位置上，且装置与位置之间的通信可经由公共或专用网络连接，或基于媒体的通信。在与本发明的前文揭示内容一致的情况下，所述算法本身可为全自动的，可具有用户输入(即，其可为完全或部分手动的)，可让用户或操作员检视以接受/拒绝结果，或可由元数据辅助(元数据可为用户供应的，由测量装置(例如，在相机中)供应或由算法确定)另外，所述算法可与多种工作流用户接口方案介接。

根据本发明的在本文中所揭示的对全色彩输出图像算法的计算可具有利用各种数据检测和还原技术(例如，面部检测、眼部检测、皮肤检测、闪光检测)的内部组件。

部件列表

10来自主题场景的光

11成像级

12透镜

13中性密度(ND)过滤器块

14可变光阑块

16亮度传感器块

18快门

20滤色器阵列图像传感器

22模拟信号处理器

24模/数转换器

26时序产生器

28图像传感器级

30总线

32数字信号处理器(DSP)存储器

36数字信号处理器(DSP)

38处理级

40曝光控制器

50系统控制器

52系统控制器总线

54程序存储器

56系统存储器

57主机接口

60存储器卡接口

62存储器卡插座

64存储器卡

68用户接口

70取景器显示器

72曝光显示器

74用户输入

76状态显示器

80视频编码器

82显示器控制器

88图像显示器

100滤色器阵列图像

102内插全色图像块

104经内插全色图像

106产生经内插彩色图像块

108产生色差块

110色差值

112内插色差图像块

114经内插色差图像

116全色彩输出图像

118融合图像块

120经内插彩色图像

200高通滤波器块

202高频全色图像

204低通滤波器块

206低频彩色图像

208合并图像块

300金字塔分解块

302全色图像金字塔

304金字塔分解块

306彩色图像金字塔

308经合并金字塔重构块

Claims (10)

1.一种用于俘获彩色图像的图像传感器，其包括二维光敏像素阵列，所述光敏像素包含全色像素和具有至少三种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元来布置，其中对于第一色彩响应，具有第一色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且对于其它色彩响应中的每一者，存在所述重复图案的仅具有给定色彩响应的彩色像素和全色像素的至少一行、列或对角线。

2.根据权利要求1所述的图像传感器，其中所述彩色像素是红、绿和蓝像素。

3.根据权利要求2所述的图像传感器，其中所述最小重复单元具有四行和四列，且其中所述最小重复单元的第一行和第三行具有绿、全色、绿、全色的像素序列，所述最小重复单元的第二行具有全色、红、全色、全色的像素序列，且所述最小重复单元的第四行具有全色、全色、全色、蓝的像素序列。

4.根据权利要求1所述的图像传感器，其中所述彩色像素是青、洋红和黄像素。

5.根据权利要求1所述的图像传感器，其中所述最小重复单元具有四行和四列，且其中对于所述重复图案的至少一行、列或对角线，针对每一色彩响应的所述彩色像素与所述全色像素交替。

6.根据权利要求1所述的图像传感器，其中所述最小重复单元的具有第一色彩响应的像素的数目是具有第二色彩响应的像素的数目的至少两倍。

7.根据权利要求6所述的图像传感器，其中所述第一色彩响应是绿，且所述第二色彩响应是红或蓝。

8.根据权利要求1所述的图像传感器，其中所述全色像素以棋盘图案布置。

9.根据权利要求1所述的图像传感器，其中所述全色像素以交替的行或列布置。

10.一种用于俘获彩色图像的图像传感器，其包括二维光敏像素阵列，所述光敏像素包含全色像素和具有至少两种不同色彩响应的彩色像素，所述像素以具有至少八个像素且具有至少两行和两列的矩形最小重复单元来布置，其中至少一个色彩响应的所述彩色像素在至少两个方向上与全色像素交替，且其中对于其它色彩响应中的每一者，针对给定色彩响应的所述彩色像素在至少一个方向上与全色像素交替或在至少两个方向上在所述彩色像素的两侧具有至少两个邻近的全色像素。

Images