CN102197641A - 改进缺陷色彩及全色滤色器阵列图像 - Google Patents

Abstract

本发明涉及一种改进来自图像传感器的具有多个色彩通道及一全色通道的第一滤色器阵列图像的方法，其包含：借助所述图像传感器在与所述色彩通道中的至少一者不同的曝光时间处捕获所述全色通道；使用所述色彩通道来提供照度通道；及分析所述滤色器阵列图像及所述照度通道以确定所述色彩通道中的缺陷像素并使用相邻色彩及照度像素值来改进所述缺陷像素以产生具有至少一个经改进的通道的第二滤色器阵列图像或全色彩图像。

Description

改进缺陷色彩及全色滤色器阵列图像

技术领域

本发明涉及具有色彩通道及全色通道的滤色器阵列图像，且更明确地说，涉及提供经改进的滤色器阵列图像或全色彩图像。

背景技术

电子成像系统取决于用于在电子图像传感器上形成图像以形成视觉图像的电子表示的镜头系统。此类电子图像传感器的实例包含电荷耦合装置(CCD)图像传感器及有源像素传感器(APS)装置(APS装置由于能够以互补金属氧化物半导体工艺来制作其而通常称为CMOS传感器)。传感器包含二维个别像元传感器或像素阵列。每一像素通常具备红色、绿色或蓝色滤波器，如拜耳在第3,971,065号共同受让的美国专利中所描述，以使得可产生全色彩图像。不管所采用的电子技术(例如，CCD或CMOS)如何，像素均充当存储桶，其中积累与在电子成像系统捕获图像期间撞击所述像素的光量成正比的光电子。

并非进入电子成像系统的前部光学元件的所有光均撞击像素。许多光在传递穿过电子成像系统的光学路径时丢失。通常，光的大约5％因镜头反射及烟雾而丢失且大约60％由于滤色器阵列而丢失。此外，一些光撞击像素的对光不敏感的区域。为聚集进行正确曝光所需要的光量，电子成像传感器聚集光达称作曝光时间的时间间隔。基于对将成像的场景的亮度测量，采用通常为自动曝光控制的电子成像系统来确定将产生具有有效亮度的图像的适合曝光时间。场景越昏暗，电子成像系统聚集光以进行正确曝光所需要的时间量越大。然而，众所周知，较长的曝光可导致模糊图像。此模糊可是物体在场景中移动的结果。其还可在图像捕获装置在捕获期间相对于场景移动时产生。

减少模糊的一个方法是缩短曝光时间。此方法使电子图像传感器在图像捕获期间曝光不足，因此产生暗图像。可将模拟或数字增益施加到图像信号以使所述暗图像变亮，但所属领域的技术人员应认识到，此将导致噪声图像。

减少模糊的另一方法是缩短曝光时间且保存传递穿过光学路径的更多光并将其引导到电子图像传感器的像素。此方法可产生具有减小的模糊级及可接受的噪声级的图像。然而，电子成像系统的当前行业趋势是使成像系统更小且更便宜。因此，具有大光圈(其可聚集更多光且保存传递穿过其的更多光)的高级光学元件是不可行的。

减少模糊的另一方法是缩短曝光时间且借助照相闪光灯补充可用光。照相闪光灯产生持续达若干分之一秒的强烈光通量且曝光时间经设定以涵盖闪光时间。可将曝光时间设定为明显短于没有闪光的间隔，因为照相闪光很强烈。因此，减少曝光期间的模糊。然而，明亮日光下的物体可仍然具有运动模糊，闪光照相在闪光灯与物体之间的距离很小的情况下最有用，且闪光灯添加图像捕获装置的额外成本及重量。

Tull的第6,441,848号美国专利描述一种具有电子图像传感器的数码相机，所述电子图像传感器通过监测每一像素收集电子的速率来移除物体运动模糊。如果光撞击像素的速率变化，那么假定像素正观看的图像的亮度在改变。当建立到传感器阵列中的电路检测到图像亮度在改变时，保存所收集的电荷量并记录检测到亮度改变的时间。通过线性地外推像素值来将其中停止曝光的每一像素值调节到适当值以使得像素值对应于整个图像的动态范围。此方法的缺点是当曝光开始时已在运动中的物体的外推像素值相当不确定。如由传感器所看到的图像亮度从不具有恒定值，且因此，外推像素值的不确定性导致具有运动伪像的图像。另一缺点是其使用专门的硬件因此其不可与当前商业相机中所用的常规电子图像传感器一起使用。

减少模糊的另一方法是捕获两个图像，一个具有短曝光时间且一个具有长曝光时间。选择所述短曝光时间以便产生有噪声但相对无运动模糊的图像。选择所述长曝光时间以便产生具有少量噪声但可具有明显运动模糊的图像。使用图像处理算法来将两个捕获组合成一个最终输出图像。第7,239,342号美国专利、第2006/0017837号美国专利申请公开案、第2006/0187308号美国专利申请公开案及第2007/0223831号美国专利申请公开案中描述了此类方法。这些方法的缺点包含对用于存储多个图像的额外缓冲器存储器、处理多个图像的额外复杂性的要求及分辨物体运动模糊的困难。

减少模糊的另一方法是缩短曝光时间且保存传递穿过滤色器阵列的更多光。对于基于硅的图像传感器，像素组件本身广泛地对可见光敏感，从而准许未经滤波的像素适合于捕获单色图像。为捕获色彩图像，通常在像素图案上制作二维滤波器图案，其中使用不同滤波器材料制作仅对可见光光谱的一部分敏感的个别像素。此滤波器图案的实例为众所周知的拜耳滤色器阵列图案，如第3,971,065号美国专利中所描述。拜耳滤色器阵列具有在典型的条件下获得全色彩图像的优点，然而，已发现此解决方案具有其缺点。虽然提供窄带光谱响应需要滤波器，但对入射光的任何滤波往往减少到达每一像素的光量，因此减小每一像素的有效光敏感度且减小像素响应速度。

作为用于改进在变化的光条件下的图像捕获及用于改进成像传感器的总体敏感度的解决方案，已揭示对熟悉的拜耳图案的修改。举例来说，汉密尔顿(Hamilton)等人的第2007/0046807号共同受让的美国专利申请公开案及康普顿(Compton)等人题名的第2007/0024931号美国专利申请公开案两者均描述将滤色器与全色滤波器元件以某一方式在空间上交错地组合的替代传感器布置。对于此类型的解决方案，图像传感器的某一部分检测色彩；另一全色部分经优化以检测横跨可见带的光以实现经改进的动态范围及敏感度。因此，这些解决方案提供像素图案，一些像素有滤色器(提供窄带光谱响应)而一些像素(未经滤波的“全色”像素或经滤波以提供宽带光谱响应的像素)无滤色器。然而，此解决方案不足以准许在低光条件下捕获无运动模糊的高质量图像。

在天体照相及远程感测领域中已知的低光情形下减少模糊并捕获图像的另一方法是捕获两个图像：具有高空间分辨率的全色图像及具有低空间分辨率的多光谱图像。所述图像经合并以产生具有高空间分辨率的多光谱图像。第7,340,099号美国专利、第6,937,774号美国专利及第2008/0129752号美国专利申请公开案中描述此类方法。这些方法的缺点包含对用于存储多个图像的额外缓冲器存储器的要求及分辨物体运动模糊的困难。

因此，需要通过使用常规电子图像传感器而不使用照相闪光灯、不增加图像噪声且没有明显额外成本或复杂性或存储器要求来产生具有色彩及全色像素、具有经减少运动模糊的经改进的滤色器阵列图像或全色彩图像。

发明内容

本发明的目的为提供一种具有色彩及全色像素的经改进的滤色器阵列图像或全色彩图像。通过一种改进来自图像传感器的具有多个色彩通道及一全色通道的第一滤色器阵列图像的方法来实现此目的，所述方法包括：

(a)借助所述图像传感器在与所述色彩通道中的至少一者不同的曝光时间处捕获所述全色通道；

(b)使用所述色彩通道来提供照度通道；及

(c)分析所述滤色器阵列图像及所述照度通道以确定所述色彩通道中的缺陷像素，及使用相邻色彩及照度像素值来改进所述缺陷像素以产生具有至少一个经改进的通道的第二滤色器阵列图像或全色彩图像。

本发明的优点是可在不必使用照相闪光灯或长曝光时间以适当地曝光单个图像的情况下借助图像处理软件的基本改变来产生具有经减少模糊的经改进的滤色器阵列图像或全色彩图像。

本发明的另一优点是可在无需具有可横向移动镜头元件的高成本专用镜头的情况下产生具有经减少的图像捕获装置所诱发模糊的滤色器阵列图像或全色彩图像。

本发明的另一优点是可在没有用于存储多个图像的经增加缓冲器存储器要求的情况下产生具有经减少模糊的滤色器阵列图像或全色彩图像

根据对优选实施例的以下详细描述及所附权利要求书的审阅并参考附图将更清晰地理解及了解本发明的这些及其它方面、目的、特征及优点。

附图说明

图1为用于实施本发明的包含数码相机的计算机系统的透视图；

图2为本发明的优选实施例的框图；

图3为针对本发明的滤色器阵列图案的视图；

图4为显示可如何将邻近行中的像素装箱在一起从而共享相同浮动扩散部组件的示意图；

图5为根据一个装箱策略从图像传感器的部分的像素读出的视图；

图6提供红色、绿色及蓝色像素的代表性光谱量子效率曲线以及更宽的光谱全色量子效率，所有这些均通过红外截止滤波器的透射特性而倍增；

图7A为用于产生针对图像传感器的部分的低分辨率全色图像的全色像素的叠加的视图；

图7B为促成色差计算的像素的视图；

图8为本发明的缺陷像素检测及改进步骤的部分的流程图；

图9为本发明的缺陷像素检测及改进步骤的部分的流程图；

图10为本发明的替代实施例的流程图；

图11为本发明的替代实施例的流程图；

图12为本发明的替代实施例的流程图；

图13为本发明的替代实施例的流程图；

图14为根据本发明的块运动估计的图解；

图15为本发明的替代实施例的流程图；

图16为本发明的替代实施例的流程图；

图17为本发明的替代实施例的流程图；

图18为本发明的替代实施例的流程图；

图19为本发明的涉及多个读出的实施例的流程图；且

图20为本发明的涉及多个读出的实施例的流程图。

具体实施方式

在以下描述中，将在通常将实施为软件程序的方面阐述本发明的优选实施例。所属领域的技术人员应认识到，此软件的等效形式也可构造于硬件中。由于熟知图像处理算法及系统，因此本描述更明确地说将是关于形成根据本发明的系统及方法的部分或与根据本发明的系统及方法更直接合作的算法及系统。本文中未具体显示或描述的此类算法及系统的其它方面，以及用于产生并以其它方式处理随后所涉及的图像信号的硬件或软件，可是从此项技术中已知的此类系统、算法、组件及元件选择的。如果存在以下材料中根据本发明所述的系统，那么本文中未具体显示、表明或描述的可用于实施本发明的软件均是常规的且属于此类技术中的一般技术。

更进一步来说，如本文中所使用，计算机程序可存储于计算机可读存储媒体中，所述计算机可读存储媒体可包含(举例来说)：磁存储媒体，例如磁盘(例如硬盘驱动器或软盘)或磁带；光学存储媒体，例如光盘、光学磁带或机器可读条码；固态电子存储装置，例如随机存取存储器(RAM)或只读存储器(ROM)；或用于存储计算机程序的任一其它实体装置或媒体。

在描述本发明之前，注意本发明优选在任一熟知计算机系统(例如，个人计算机)上利用促进对本发明的理解。因此，本文中将不详细讨论计算机系统。注意将图像直接输入到计算机系统中(举例来说，通过数码相机)或在输入到计算机系统中之前对其进行数字化(举例来说，通过扫描原物(例如，卤化银胶片))也是有益的。

参考图1，其图解说明用于实施本发明的计算机系统110。虽然出于图解说明优选实施例的目的而显示计算机系统110，但本发明并不限于所示的计算机系统110，而可在例如家庭计算机、公用电话亭、零售或批发照相洗印服务中找到的任一电子处理系统或用于处理数字图像的任一其它系统上使用。计算机系统110包含基于微处理器的单元112以用于接收且处理软件程序并用于执行其它处理功能。将显示器114电连接到基于微处理器的单元112以(例如)通过图形用户接口来显示与软件相关联的用户相关信息。将键盘116也连接到基于微处理器的单元112以准许用户将信息输入到软件。如此技术中所熟知，作为使用键盘116输入的替代方案，可使用鼠标118来移动显示器114上的选择器120且选择选择器120覆盖于其上的物项。

将通常包含软件程序的紧凑型磁盘-只读存储器(CD-ROM)124插入到所述基于微处理器的单元中以用于提供一种将所述软件程序及其它信息输入到基于微处理器的单元112的方式。此外，软盘126也可包含软件程序，且被插入到基于微处理器的单元112中以用于输入所述软件程序。或者，可将紧凑型磁盘-只读存储器(CD-ROM)124或软盘126插入到连接到基于微处理器的单元112的位于外部的磁盘驱动器单元122中。更进一步来说，如此项技术中所熟知，基于微处理器的单元112可经编程以用于在内部存储软件程序。基于微处理器的单元112也可具有到外部网络(例如，局域网络或因特网)的网络连接127，例如，电话线。打印机128也可连接到基于微处理器的单元112以用于打印从计算机系统110输出的硬拷贝。

图像也可经由个人计算机卡(PC卡)130显示于显示器114上，例如，如前面所熟知，含有在PC卡130中以电子形式体现的经数字化图像的PCMCIA卡(基于个人计算机存储器卡国际协会的规范)。最后将PC卡130插入到基于微处理器的单元112中以用于准许显示器114上的图像的视觉显示。或者，可将PC卡130插入到连接到基于微处理器的单元112的位于外部的PC卡读取器132。图像也可经由紧凑型磁盘124、软盘126或网络连接127输入。存储于PC卡130、软盘126或紧凑型磁盘124中或通过网络连接127输入的任何图像可从各种来源(例如，数码相机(未显示)或扫描仪(未显示))获得。图像也可经由连接到基于微处理器的单元112的相机衔接端口136直接从数码相机134输入或经由电缆连接138直接从数码相机134输入到基于微处理器的单元112或经由无线连接140输入到基于微处理器的单元112。

根据本发明，所述算法可存储于此前所提及的存储装置中的任一者中且适用于滤色器阵列图像以便产生经改进的滤色器阵列图像或全色彩图像。

在下文中，滤色器阵列图像是指借助以滤色器阵列图案制作于像素上的图像传感器所捕获的图像。色彩通道是指对应于特定滤色器的图像值。类似地，全色通道是指对应于全色滤波器的图像值。全色彩图像是指其中针对每个像素存在每一色彩通道的图像。全色彩图像也可具有针对每个像素存在的全色通道。依据现有通道，可形成例如照度通道等额外通道。

图2为本发明的优选实施例的高阶图；使用数码相机134来捕获滤色器阵列图像270。更具体地说，数码相机134捕获全色通道202及色彩通道204。所述滤色器阵列可含有红色、绿色、蓝色及全色像素，但可使用其它通道组合，例如，青色、洋红色、黄色及全色。包含全色像素特别重要。以使得全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。全色通道252可具有短于色彩通道254中的每一者的曝光及经布置以使得其同时终止的曝光间隔。或者，针对全色通道252的较短曝光可暂时集中于针对色彩通道254的较长曝光内。

色彩通道254用于计算照度通道206。用于根据色彩通道254计算照度通道206的公式係此项技术中所熟知。在优选实施例中，色彩通道254的加权经挑选以使得所计算照度通道256可与全色通道252相比。

在下一步骤中，分析滤色器阵列图像275(明确地说，全色通道252及所计算照度通道256)以确定缺陷像素208。将缺陷像素界定为其中所计算照度像素值不匹配全色像素值且其中色彩像素值需要被修改的那些像素。将经改进的像素界定为其中计算经修改色彩像素值的那些像素。

在以下步骤中，使用相邻像素210来改进缺陷像素208。可根据任意大的半径绘制相邻像素210。也可根据零半径绘制相邻像素210，从而暗示使用对应于具体缺陷像素的全色、照度及色彩值来改进所述像素。

在最终步骤中，将经改进的缺陷像素并入到滤色器阵列图像275中以形成经改进的滤色器阵列图像212。

现将更详细地描述图2中所概述的个别步骤。首先，数码相机134捕获滤色器阵列图像270。图3图解说明优选实施例的实例性滤色器阵列图案301。在此实例中，所述像素中的一半像素为全色的302，而另一半像素为在红色(R)304、绿色(G)306及蓝色(B)308之间分裂的色彩像素。

全色像素302的曝光周期短于色彩像素的曝光周期。此准许在防止过量运动模糊的短曝光时间的情况下捕获全色通道252，同时也准许在充分曝光以防止过量色彩噪声伪像的情况下捕获色彩通道254。

在图像传感器的读出期间，可使用各种像素装箱方案，如图4中所图解说明。在图4中，显示图像传感器的两个局部行401、402。在此实例中，传感器阵列的下伏读出电路使用同时以可切换方式连接到一个或一个以上周围像素的浮动扩散部404。数字图像获取领域的技术人员熟知所述浮动扩散部的实施方案及使用。图4显示其中每一浮动扩散部404服务于在一个实例中显示为四元组406的四个周围像素的常规布置。

可在若干个组合中的任一者中将像素信号切换到浮动扩散部404。在读出组合408中，四元组406中的每一像素使其电荷单独地传送到浮动扩散部404且因此被个别地读取。在读出组合410中，全色像素P被装箱，即，通过同时将其所存储的电荷排空到浮动扩散部404而共享浮动扩散部404；类似地，所述四元组中的两个色彩(G)像素被装箱，从而同时将其信号切换到浮动扩散部404。在另一读出组合412中，全色像素P未被装箱，而是被单独地读取；此处色彩像素(G)被装箱。

在本发明的优选实施例中，全色像素未被装箱，而色彩像素被装箱412，从而导致图5中所图解说明的读出。图5图解说明仅针对图像传感器的部分的读出。在图5中，全色像素占用棋盘图案502，而色彩像素共同形成低分辨率拜耳图案504。

在已从传感器读出滤色器阵列图像275之后，使用色彩通道254来计算照度通道206。通过L＝R+2G+B给出计算上简单的照度计算。在优选实施例中，如图6中所图解说明，测量红色、绿色、蓝色及全色像素的光谱响应，且计算作为给出与全色通道的有效配合的红色、绿色及蓝色的线性组合的照度通道256。

参考图6的曲线图，其显示在典型的相机应用中具有红色、绿色及蓝色滤色器的像素的相对光谱敏感度。图6中的X轴以纳米为单位表示光波长，其横跨大约从近紫外到近红外的波长，且Y轴表示效率(正规化的)。在图6中，曲线610表示用来阻挡红外及紫外光到达图像传感器的典型带宽滤波器的光谱透射特性。需要此滤波器是因为用于图像传感器的滤色器通常不阻挡红外光，因此像素可能无法在红外光与其相关联滤色器的通带内的光之间进行区分。因此，由曲线610所显示的红外阻挡特性防止红外光破坏可见光信号。对于应用红色、绿色及蓝色滤波器的典型硅传感器，光谱量子效率(即，捕获并转换成可测量电信号的入射光子的比例)通过由曲线610表示的红外阻挡滤波器的光谱透射特性而倍增以产生由针对红色的曲线614、针对绿色的曲线616及针对蓝色的曲线618表示的经组合系统量子效率。根据这些曲线应理解，每一色彩光电响应仅对可见光谱的一部分敏感。相比之下，未应用滤色器(但包含红外阻挡滤波器特性)的相同硅传感器的光电响应由曲线612表示；此为全色光电响应的实例。通过将色彩光电响应曲线614、616及618与全色光电响应曲线612相比较，显而易见，全色光电响应可比色彩光电响应中的任一者对宽光谱光敏感二到四倍。

首先，每一低分辨率拜耳图案504像素具有一个色彩值-红色、蓝色或绿色。存在从此起点计算照度值的许多方式。一个方法是执行滤色器阵列内插以在所有像素处产生红色、绿色及蓝色值。滤色器阵列内插算法为此项技术中所熟知且参考以下专利：第5,506,619、5,629,734及5,652,621号美国专利。根据每一像素处的经内插的红色、绿色及蓝色值计算每一像素处的照度值。一旦已计算照度值，即可废弃经内插的滤色器阵列值。如果内插算法为线性函数，那么其可与后续照度函数组合以形成单个线性方程式，所述单个线性方程式将像素照度值表达为可用滤色器阵列值的线性组合。在计算照度值的另一方法中，呈2x 2(或更大)邻域的红色、绿色及蓝色值可平均于所述邻域上且可用于计算整个邻域的平均照度值。

在步骤208中，使用全色通道连同照度通道及色彩通道来确定缺陷像素。此后面是，在步骤210中改进所述缺陷像素。首先，如图7A中所图解说明，叠加全色通道。图7A图解说明针对图像传感器的部分的此工艺。在此图中，来自全色读出502的全色像素对702经叠加以在与照度通道256相同的空间分辨率下形成全色通道704。此时，全色或照度通道可经滤波以减少噪声。随后，可采用各种方法来确定缺陷像素208并改进缺陷像素210。在一个方法中，将缺陷像素界定为其中照度值不匹配对应的经叠加全色值的任一像素。在此情况下，通过计算所述像素处的色差(界定为C-L)来改进缺陷像素，其中C为色彩值(取决于像素的红色、绿色或蓝色值)且L为对应的照度值。将此色差添加到经叠加全色值：

其中是经改进的色彩值，且

是经叠加全色值。当以对数空间表示像素值时，色差的使用为优选。或者，当以线性空间表示像素值时，可通过比率

倍增地缩放色彩值。

在确定缺陷像素208并改进缺陷像素210的另一方法中，首先将所有像素分类为有缺陷。对于每一像素，将色差(C-L)平均于半径为k个像素的窗中。将所述平均限制于匹配呈拜耳图案的空间位置的像素，如图7B中所图解说明。在此图中，显示有2个像素围绕中心绿色像素的半径。在此图中，九个圆圈像素752促成计算色差以用于改进中心像素754。将平均色差值添加回到对应全色值以产生经改进的色彩值。

对于给定像素(i，j)，通过以下方程式给出此系列步骤：

$C_{\mathrm{Diff}}(i,j)=\frac{\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}I((i,j),(m,n))\·(C(m,n)-L(m,n))}{\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}I((i,j),(m,n))}$

其中：

$I((i,j),(m,n))=\left\{\begin{array}{ccccc}1& \mathrm{if}& \mathrm{mod}(i-m,2)=0& \mathrm{and}& \mathrm{mod}(j-n,2)=0\\ 0& \mathrm{else}& & & \end{array}\right.$

I是指标函数，其用于将包含限制于拜耳图案空间位置相同且因此必需具有与正改进的中心像素相同的色彩的那些像素。C_Diff是平均色差。最后，通过以下方程式给出具有经改进的色彩值的经改进的像素：

C_improved(i，j)＝Pan(i，j)+C_Diff(i，j ).

在检测缺陷像素208并改进缺陷像素210的另一方法中，首先将所有像素分类为有缺陷。对于每一像素，将色差(C-L)平均于其中照度值充分地类似于参考像素全色值且其中像素的空间位置匹配拜耳图案内的参考像素的空间位置的所有位置中的k个像素的窗中。确定充分类似值的一个优选方式是界定与参考像素全色值相关联的所预期噪声标准偏差σ。然后，使用临限值4σ来识别类似照度值。其照度值与参考像素全色值相差不多于4σ的像素被认为相似，且色差平均值中包含对应的色差。

通过将参考全色值添加回到平均色差来改进像素色彩值。在此阶段期间，跳过其中全色值不具有充分类似相邻照度值的像素，且随后产生针对这些位置的经改进的色彩值。

对于给定像素(i，j)，通过以下方程式给出此系列步骤：

$C_{\mathrm{Diff}}(i,j)=\frac{\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}I((i,j),(m,n))\·(C(m,n)-L(m,n))}{\underset{m=i-k}{\overset{i+k}{\mathrm{\Σ}}}\underset{n=j-k}{\overset{j+k}{\mathrm{\Σ}}}I((i,j),(m,n))}$

其中：

$I((i,j),(m,n))=\left\{\begin{array}{cccccc}1& \mathrm{mod}(i-m,2)=0& \mathrm{and}& \mathrm{mod}(j-n,2)=0& \mathrm{and}& |\mathrm{Pan}(i,j)-L(m,n)|\≤4\mathrm{\σ}\\ 0& \mathrm{else}& & & & \end{array}\right.$

I是指标函数，其用于将包含限制于拜耳图案空间位置相同且因此必需具有与正改进的中心像素相同的色彩的那些充分类似像素。C_Diff是平均色差。最后，经改进的像素具有通过以下方程式给出的色彩值：

C_improved(i，j)＝Pan(i，j)+C_Diff(i，j).

此步骤在下文中称为像素匹配步骤。

需要最后步骤来计算在像素匹配步骤期间跳过的所有像素的经改进的色彩值。在下文中，此步骤称为空隙填充。使V指在像素匹配步骤期间跳过的像素集合。在本发明的一个方法中，通过依据像素的全色值以及拜耳图案内的其中已经计算经改进的色彩值的相同空间位置的相邻像素的全色值将权重指定到V中的所有像素来实现空隙填充。根据像素的权重而归类像素，且具有最高权重的像素具有依据像素的全色值以及与相邻全色及经改进的色彩值相关联的色差值而计算的经改进的色彩值。在计算经改进的色彩值之后，从集合V移除选定像素、重新计算剩余的像素权重且重复所述工艺直至集合V为空。

图8及9中更详细地描述与空隙填充的一个方法相关联的步骤。首先，界定集合V：

V＝{(i，j)|(i，j)skipped in pixel matching step}

然后，针对V中的每一像素801，计算所述像素与其在相同拜耳图案空间位置的四个最接近相邻者(4-相邻者)之间的全色差802。下文的方程式图解说明针对北部像素相邻者的计算。使用类似方程式来计算南部、东部及西部相邻者的全色差。

$\begin{array}{cc}\∀(i,j)\∈V& \mathrm{PanD}{\mathrm{iff}}_{(i,j)}(i,j-2)=\left\{\begin{array}{c}0\mathrm{if}(i,j-2)\mathrm{is\; not\; a\; valid\; pixel\; index}\\ |\mathrm{Pan}(i,j)-\mathrm{Pan}(i,j-2)|\mathrm{else}\end{array}\right.\end{array}$

另外，针对V中的每一像素(i，j)，确定可促成其经改进的色彩值计算的可用的4-相邻者集合A(i，j)804。4-相邻者在所述相邻者已经具有计算的经改进的色彩值时被认为可用且包含于集合A(i，j)中：

$\begin{array}{cc}\∀(i,j)\∈V& A_{(i,j)}\end{array},=\left\{(m.n)\right|\begin{array}{c}(m,n)\mathrm{is\; valid\; pixel\; index},(m,n)\mathrm{is}4\mathrm{neighbor\; of}(i,j),\\ \mathrm{and}(m,n)\mathrm{has\; improved\; color\; value\; computed}\end{array}\}$

针对V中的每一像素，计算每一4-相邻者的权重806：

其中σ(Pan (i，j))是与像素(i，j)的全色值相关联的噪声的标准偏差。这些权重经正规化以使得其叠加到一者808。在剩余讨论中，更喜欢经正规化权重。最后，针对V中的每一像素计算可用权重项810。可用权重表示对应于其中已经计算经改进的色彩值的像素的经正规化权重的分率。

$\begin{array}{cc}\∀(i,j)\∈V& O(i,j)=\underset{(m,n)\∈A_{(i,j)}}{\mathrm{\Σ}}{W}_{(i,j)}(m,n)\end{array}$

现参考图9，起始在每一迭代中识别V中具有最大可用权重的像素、计算所述像素的经改进的色彩值、从V移除所述像素且更新可用性集合及可用权重的循环901。明确地说，选择V中具有最大可用权重的像素(i，j)902。针对(i，j)的每一4-相邻者，计算色差权重904。此係根据(i，j)的可用权重而正规化的权重：

$D_{(i,j)}(m,n)=\frac{W_{(i,j)}(m,n)}{O(i,j)}$

使用这些色差权重，计算选定像素的经改进的色彩值906：

$\hat{C}(i,j)=\mathrm{Pan}(i,j)+\underset{(m,n)\∈A_{(i,j)}}{\mathrm{\Σ}}{D}_{(i,j)}(m,n)\·(C(m,n)-\mathrm{Pan}(m,n))$

在已计算经改进的色彩值之后，更新可用性集合以反映新产生的经改进的色彩值908：

$\begin{array}{cc}\∀(m,n)|(m,n)\mathrm{is}4\mathrm{neighbor\; of}(i,j),(m,n)\∈V& A_{(m,n)}=A_{(m,n)}\∪(i,j)\end{array}$

类似地，更新可用权重项910：

$\begin{array}{cc}\∀(m,n)|(m,n)\mathrm{is}4\mathrm{neighbor\; of}(i,j),(m,n)\∈V& O(m,n)=O(m,n)+W_{(m,n)}(i,j)\end{array}$

最后，从集合V移除像素(i，j)912。

V＝V\(i，j)

使此循环迭代直至集合V为空901。

在对应于具有图3中所示的滤色器阵列图案的图像传感器及由图4中的412给出的读出期间的装箱策略的此特定实例中，经改进的色彩值连同原始全色通道252表示经改进的滤色器阵列图像212。

图10中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩图像255来计算照度通道206，从而产生经计算照度通道256。随后，检测208并改进210缺陷像素，且产生212经改进的滤色器阵列图像。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处更改所述像素处存在于拜耳图案中的色彩通道。所述像素的另外两个色彩通道值被用于计算中，但未被更改且最终被废弃。举例来说，如果存在红色拜耳图案像素，那么改进所述像素处的红色色彩值。此改进工艺可使用相邻的原色值以及经内插的色彩值两者。所述像素处的经内插的绿色及蓝色色彩值可被用于所述及其它缺陷像素的检测及改进中，但最终被废弃。在将经改进的色彩通道与原始全色通道252组合时，最后结果是经改进的滤色器阵列图像212。

图11中图解说明本发明的另一实施例。使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩图像255来计算照度通道206，从而产生经计算照度通道256。随后，检测208并改进210缺陷像素，且产生213经改进的全色彩图像。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处分析所有三个色彩通道值以检测并改进缺陷像素。可针对所有三个色彩通道产生经改进的色彩值。在将经改进的色彩通道与原始全色通道252组合时，最后结果是经改进的全色彩图像。

图12中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩图像255来计算照度通道206，从而产生经计算照度通道256。随后，检测208并改进210缺陷像素。使用滤色器阵列抽选211来将全色彩图像减少到经改进的滤色器阵列图像212。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处分析所有三个色彩通道值以检测并改进缺陷像素。针对所有三个色彩通道产生经改进的色彩值。然后，将所得图像抽选回到滤色器阵列图案211且与原始全色通道252组合以产生经改进的滤色器阵列图像212。此特定实施例在期望产生经改进的滤色器阵列图像212的情况下非常适合，然而，检测缺陷像素208并改进缺陷像素210的步骤受益于在整个检测并改进步骤中在所有色彩通道的所有像素处确定并维持经改进的色彩值。

图13中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。全色通道252经内插203以产生经内插的全色通道253。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩图像255来计算照度通道206，从而产生经计算照度通道256。经内插的色彩图像255及照度通道256经上取样207以在与经内插的全色通道253相同的分辨率下产生经上取样色彩及照度通道257。上取样为此项技术中所熟知，且可将例如双线性内插等熟知技术用于所述任务。随后，检测208并改进210缺陷像素，且产生213经改进的全色彩图像。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处分析所有三个色彩通道值以检测并改进缺陷像素。可针对所有三个色彩通道产生经改进的色彩值。在将经改进的色彩通道与经内插的全色通道253组合时，最后结果是经改进的全色彩图像213。

在本发明的其它实施例中，包含运动估计及补偿的额外步骤以在缺陷像素的检测及改进之前将全色通道与色彩及照度通道对准。由于全色通道具有不同于色彩通道中的至少一者的曝光时间，因此当存在捕获场景运动时-相机运动或物体运动-可能未首先将全色通道中含有的图像内容与色彩及照度通道中含有的图像内容对准。在此情形下，包含运动估计及补偿步骤以在缺陷像素的检测及改进之前将色彩及照度通道与全色通道对准是有益的。

在执行运动估计及补偿的一个方法中，使用照度通道来将色彩通道与全色通道在空间上对准。运动估计及补偿技术为此项技术中所熟知，且在准确度、稳健性及计算复杂性上变化。运动模型及技术包含：仿射模型、来自光学流算法的基于块的平移运动场及密集运动场。在存储器受约束环境中进行运动估计及补偿的一个方法中，在给定时间处，读出少量传感器像素行并在存储器中对其进行缓冲。使用基于块的平移运动来提供快速、局部运动模型。可部分地端视缓冲器中可用像素行的数目而挑选块的大小及用于匹配块的搜寻范围。举例来说，如图14中所图解说明，如果存在具有可用于每一通道1402的16个线的缓冲器，那么全色通道1404的中心八个行可划分成8x 8个块1406且照度通道的对应行可经搜寻而具有高达4个像素1408的运动范围以识别匹配块。可针对每一块保持块匹配统计数据且将其用于后续分析中。此统计数据包含与优选匹配相关联的误差，以及跨越所有偏移的平均误差与最小误差之间的比率。

一旦已针对当前行条中的所有块确定运动偏移，即进一步处理所述偏移以实施规则性并减少噪声对运动估计的影响。此可通过将运动偏移进行中值滤波、使用来自当前及先前行的可用运动数据来实现。为避免跨越强边缘进行中值滤波，可使用经计算块匹配统计数据以使未改变的块通过中值滤波器。明确地说，平均误差与最小误差之间的高比率表明强匹配及充实图像内容。从中值滤波器排除其平均误差与最小误差比率超过预设临限值的块。

可在替代实施方案中使用不同的运动估计技术。在其中缓冲器存储器受较少约束且整个或接近整个滤色器阵列图像可在处理之前存储于存储器中的情形下，可使用更复杂的运动分析。可使用光学流技术来产生每个像素的运动向量。可针对块运动估计使用更大的搜寻范围。在其中全色通道曝光周期大致集中于色彩通道的较长曝光周期内的情形下，运动估计及补偿可被完全跳过否则与经减少搜寻范围一起使用，从而减少处理算法的总体复杂性。

一旦完成运动估计步骤，即根据运动估计调节色彩及照度通道以使其与可能的全色通道对准。

图15中图解说明本发明的并入有运动估计及补偿的一个实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。使用色彩通道254来计算照度通道206。此时，结合全色通道252使用照度通道256以估计并补偿全色与色彩/照度数据1502之间的运动。为确保运动补偿的滤色器阵列图像维持色彩值的拜耳图案，将运动估计限制于平移偏移，其是沿水平及垂直方向中的每一者的2个像素的倍数。运动估计及补偿的步骤产生经改进的色彩通道。在将经改进的色彩通道与原始全色通道252组合时，最后结果是经改进的滤色器阵列图像212。

图16中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。使用色彩通道254来计算照度通道206。此时，结合全色通道252使用照度通道256以估计并补偿全色与色彩/照度数据1502之间的运动。为确保运动补偿的滤色器阵列图像维持色彩值的拜耳图案，将运动估计限制于平移偏移，其是沿水平及垂直方向中的每一者的2个像素的倍数。随后，检测208并改进210缺陷像素，且产生212经改进的滤色器阵列图像。

图17中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩通道255来计算照度通道206。此时，结合全色通道252使用照度通道256以估计并补偿全色与色彩/照度数据1502之间的运动。随后，检测208并改进210缺陷像素，且产生213经改进的全色彩图像。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处分析所有三个色彩通道值以检测并改进缺陷像素。可针对所有三个色彩通道产生经改进的色彩值。在将经改进的色彩通道与原始全色通道252组合时，最后结果是经改进的全色彩图像213。

图18中图解说明本发明的另一实施例。在此实施例中，使用数码相机134来捕获滤色器阵列图像270。更具体来说，数码相机134捕获全色通道202及色彩通道204。以使得将全色通道252曝光于光达色彩通道254中的至少一者的不同时间长度的方式来捕获滤色器阵列图像275。全色通道252经内插203以产生经内插的全色通道253。对色彩通道254执行滤色器阵列内插205以在每个像素处产生具有红色、绿色及蓝色值的经内插的色彩图像255。使用经内插的色彩图像255来计算照度通道206。经内插的色彩图像255及照度通道256经上取样207以在与经内插的全色通道253相同的分辨率下产生经上取样色彩及照度通道257。此时，结合经内插的全色通道253使用经上取样照度通道257以估计并补偿全色与色彩/照度数据1502之间的运动。随后，检测208并改进210缺陷像素，且产生213经改进的全色彩图像。

在缺陷像素的检测208及缺陷像素的改进210期间，在每一像素处分析所有三个色彩通道值以检测并改进缺陷像素。可针对所有三个色彩通道产生经改进的色彩值。在将经改进的色彩通道与经内插的全色通道253组合时，最后结果是经改进的全色彩图像213。

所属领域的技术人员应认识到，存在本发明的许多替代方法。举例来说，色彩像素可未被装箱，如图4的408中。在此情况下，可修改滤色器阵列内插205及上取样步骤207以计及未经装箱的色彩像素。更一般来说，所属领域的技术人员应认识到，本发明可适用于全色像素及色彩像素的任一传感器图案以使得全色通道的曝光周期不同于至少一个色彩通道的曝光周期。

在本发明的另一方法中，传感器图案含有红色、绿色及蓝色像素，且将所述像素划分成若干个子集以使得一个子集含有绿色像素且具有不同于剩余像素的曝光周期。

在本发明的另一方法中，将传感器划分成多于两个像素子集，其每一者具有不同于其它子集的曝光周期。

在本发明的另一方法中，将传感器划分成两个像素子集，其每一者被读取至少一次，且组合对所述像素子集的多个读取以形成单个经改进的滤色器阵列图像或全色彩图像。图19及20中图解说明此方案。参考图19，将捕获工艺划分成包集合。个别地读取并处理1902每一包，且将由每一包处理步骤造成的结果组合1904成单个经改进的滤色器阵列图像或全色彩图像1906。

图20更详细地图解说明对个别包的处理。包包含全色通道的一个或一个以上读出2002以及色彩通道的一个或一个以上读出2004。将所述全色通道读出组合成单个全色图像2006。同样，将所述色彩通道读出组合成单个色彩图像2008。使用后续处理来将色彩及全色图像组合2010成单个经改进的滤色器阵列图像或全色彩图像2012。

在本发明的另一方法中，数码相机134以视频捕获模式操作。根据本发明的教示而捕获并处理视频的每一帧。包含额外处理以将每一帧的分辨率降低到目标视频分辨率。类似地，数码相机134可以突发捕获模式操作，在此情况下，根据本发明的教示而捕获并处理每一帧。

部件列表

110    计算机系统

112    基于微处理器的单元

114    显示器

116    键盘

118    鼠标

120    显示器上的选择器

122    磁盘驱动器单元

124    紧凑型磁盘-只读存储器(CD-ROM)

126    软盘

127    网络连接

128    打印机

130    个人计算机卡(PC卡)

132    PC卡读取器

134    数码相机

136    相机衔接端口

138    电缆连接

140    无线连接

202    全色通道捕获

203    全色通道内插

204    色彩通道捕获

205    滤色器阵列内插

206    照度通道计算

207    上取样

208    缺陷像素确定

210    缺陷像素改进

211    滤色器阵列抽选

212    经改进的滤色器阵列图像

213    经改进的全色彩图像

252    全色通道

253    经内插的全色通道

254    色彩通道

255    经内插的色彩图像

256    照度通道

257    经上取样色彩及照度通道

270    滤色器阵列图像捕获

275    滤色器阵列图像

301    滤色器阵列图案

302    全色像素

304    红色色彩像素

306    绿色色彩像素

308    蓝色色彩像素

401    图像传感器的第一局部行

402    图像传感器的第二局部行

404    浮动扩散部

406    像素四元组

408    第一读出组合

410    第二读出组合

412    第三读出组合

502    全色像素

504    色彩像素

610    曲线

612    曲线

614    曲线

616    曲线

618    曲线

702    全色像素对

704    低分辨率全色像素

752    促成像素

754    经改进的像素

801    像素选择

802    全色像素差计算

804    像素可用性计算

806    权重计算

808    权重正规化

810    可用权重计算

901    循环

902    像素选择

904    色差权重计算

906    经改进的像素值计算

908    可用性更新

910    可用权重更新

912    像素移除

1402   缓冲器线

1404    中心缓冲器线

1406    像素块

1408    搜寻区

1502    运动估计及补偿

1902    个别包处理

1904    包组合

1906    经改进的图像

2002    多个全色捕获

2004    多个色彩捕获

2006    全色组合

2008    色彩组合

2010    全色及色彩组合

2012    经改进的图像

Claims (9)

1.一种改进来自图像传感器的具有多个色彩通道及一全色通道的第一滤色器阵列图像的方法，其包括：

(a)借助所述图像传感器在与所述色彩通道中的至少一者不同的曝光时间处捕获所述全色通道；

(b)使用所述色彩通道来提供照度通道；及

(c)分析所述滤色器阵列图像及所述照度通道以确定所述色彩通道中的缺陷像素，及使用相邻色彩及照度像素值来改进所述缺陷像素以产生具有至少一个经改进的通道的第二滤色器阵列图像或全色彩图像。

2.根据权利要求1所述的方法，其中步骤(b)进一步包含产生经内插的色彩图像及使用所述经内插的色彩图像来提供所述照度通道。

3.根据权利要求2所述的方法，其中步骤(c)进一步包含在确定及改进所述缺陷像素时使用所述经内插的色彩图像。

4.根据权利要求1所述的方法，其中选择所述照度通道以使得其可与所述全色通道相当。

5.一种改进来自图像传感器的具有多个色彩通道及一全色通道的第一滤色器阵列图像的方法，其包括：

(a)借助所述图像传感器在与所述色彩通道中的至少一者不同的曝光时间处捕获所述全色通道；

(b)使用所述色彩通道来提供照度通道；

(c)使用所述全色通道及所述照度通道来提供运动估计；及

(d)使用所述运动估计及所述第一滤色器阵列图像来产生具有至少一个经改进的通道的第二滤色器阵列图像或全色彩图像。

6.根据权利要求5所述的方法，其中步骤(b)进一步包含产生经内插的色彩图像及使用所述经内插的色彩图像来提供所述照度通道。

7.根据权利要求5所述的方法，其中选择所述照度通道以使得其可与所述全色通道相当。

8.根据权利要求5所述的方法，其中步骤(d)进一步包含分析所述滤色器阵列图像及所述照度通道以确定所述色彩通道中的缺陷像素，及使用相邻色彩及照度像素值来改进所述缺陷像素以产生经改进的滤色器阵列图像或全色彩图像。

9.根据权利要求6所述的方法，其中步骤(d)进一步包含分析所述经内插的色彩图像及所述照度通道以确定所述色彩通道中的缺陷像素，及使用相邻色彩及照度像素值来改进所述缺陷像素以产生经改进的滤色器阵列图像或全色彩图像。

Images