CN102362501A - 修改色彩及全色通道彩色滤光器阵列图像 - Google Patents

Abstract

本发明涉及一种修改具有多个色彩通道及一个全色通道的CFA图像或全色图像的方法，该方法包含：利用CFA传感器在与色彩图像通道的至少一个不同的曝光时间捕捉图像内的全色通道；自CFA图像产生全色边缘图及彩色边缘图；使用全色边缘图及彩色边缘图以提供运动估计；及使用运动估计以修改CFA图像或全色图像的通道的至少一个。

Description

修改色彩及全色通道彩色滤光器阵列图像

技术领域

本发明涉及具有色彩通道及全色通道的彩色滤光器阵列图像，且更具体地，涉及提供种经修改的CFA图像或全色图像。

背景技术

电子成像系统依靠透镜系统在电子图像传感器上形成图像以产生可视图像的电子表示。此等电子图像传感器实例包含电荷耦合装置(CCD)图像传感器及主动像素传感器(APS)装置(APS装置由于能够在互补金氧半导体工艺中制造，而通常被称为CMOS传感器)。传感器包含单独图像元素传感器或像素的二维阵列。各像素通常具有红色、绿色或蓝色滤光器，如由Bayer描述于共同让与美国专利第3,971,065号中，使得可产生全色图像。无论所采用的电子技术(例如CCD或CMOS)为何，像素作用如同提桶(bucket)，其中在该电子成像系统捕捉图像期间累积与撞击像素的光量成正比的光电子。

并非所有进入电子成像系统的前光学元件的光都会撞击像素。许多光在通过该电子成像系统的光学路径时损失。通常，由于透镜反射及薄雾会损失约5％的光且由于彩色滤光器阵列会损失约60％的光。此外，一些光撞击非光敏感的像素区域。为了聚集进行正确曝光所需要的光量，该电子成像系统聚集光持续称为曝光时间的时间间隔。基于对待成像场景的亮度量测，该电子成像系统(通常为自动曝光控制装置)被用于判定将产生具有有效亮度的图像的适合曝光时间。场景越暗，该电子成像系统聚集光以进行正确曝光所需要的时间量越大。然而，众所周知，较长的曝光可导致模糊图像。此模糊可为物体在场景内移动的结果。当该图像捕捉装置在捕捉期间相对于场景移动时，亦可产生模糊。

一种减少模糊的方法为缩短曝光时间。此方法使该电子图像传感器在图像捕捉期间曝光不足，所以产生暗图像。可对该图像信号应用模拟或数字增益以使该等暗图像变亮，但是本领域的技术人员将了解此将导致噪声图像。

另一种减少模糊的方法为缩短曝光时间且保留通过该光学路径的更多光并将其引导至该电子图像传感器的像素。此方法可产生具有减少的模糊及可接受的噪声等级的图像。然而，当前电子成像系统的产业趋势在于：制造更小且更便宜的成像系统。因此，可聚集更多光且保留通过光学元件的更多光的具有大孔径的高级光学元件是不可行。

另一种减少模糊的方法为缩短曝光时间且使用摄影闪光灯补充可用光。摄影闪光灯产生持续瞬间的强光通量且设定该曝光时间包含该闪光时间。因为该摄影闪光很强烈，故可将曝光时间设定为比没有闪光时明显更小的时间间隔。因此，减少在曝光期间的模糊。然而，物体在明亮的白天可仍然具有运动模糊，若闪光灯与物体之间的距离短，则闪光摄影极其有用，而闪光灯给图像捕捉装置增加额外成本及重量。

Tull的美国专利第6,441,848号描述具有电子图像传感器而藉由监视电子为各像素所收集的速率移除物体运动模糊的数码相机。若光撞击像素的速率发生变化，则假设该像素正在观察的图像的亮度正在改变。当内建于该传感器阵列中的电路检测到图像亮度正在改变时，保留所收集的电荷量且记录检测到亮度改变的时间。在曝光停止处的各像素值藉由线性外推该像素值而将其调整至合适值，使得该像素值对应于整个图像的动态范围。此方法的缺点为当曝光开始时已处于运动中的物体的外推像素值是高度不确定。图像亮度(如由传感器所感测)从不具有恒定值，且因此该等外推像素值的不确定性导致具有运动假影的图像。另一缺点为其使用专用硬件，故其不可与当前相机商品中使用的习知电子图像传感器一起使用。

另一种减少模糊的方法为捕捉两个图像，一个使用短曝光时间且一个使用长曝光时间。该短曝光时间经选择以便于产生具有噪声但相对没有运动模糊的图像。该长曝光时间经选择以便于产生具有微量噪声但可具有明显运动模糊的图像。使用图像处理算法将该两个所捕捉图像组合为一个最终输出图像。此等方法描述于美国专利第7,239,342号、美国专利申请公开案第2006/0017837号、美国专利申请公开案第2006/0187308号及美国专利申请公开案第2007/0223831号。此等方法的缺点包含对储存多重图像的额外缓冲存储器、处理多重图像的额外复杂性的需要及解决物体运动模糊的困难。

另一种减少模糊的方法为缩短曝光时间且保留通过该彩色滤光器阵列的更多光。对于基于硅的图像传感器，像素组件自身是大体上对可见光敏感而使未经滤光像素适合于捕捉单色图像。为捕捉彩色图像，通常在该像素图案上制造二维滤光器图案，其使用不同滤光材料使各像素仅对可见光谱的部分敏感。此种滤光器图案的实例为众所周知的Bayer彩色滤光器阵列图案，如描述于美国专利第3,971,065号中。Bayer彩色滤光器阵列具有在典型条件下获得全色图像的优点，但已发现此解决方案具有其缺点。虽然需要滤光器来提供窄频光谱响应，但是对入射光的任何过滤往往减少到达各像素的光量，藉此减少各像素的有效光敏感且降低像素响应速度。

作为用于改良在变化光条件下的图像捕捉且用于改良成像传感器的整体敏感性的解决方案，已经揭示对熟悉的Bayer图案的修改。举例而言，Hamilton等人的共同让与美国专利申请公开案第2007/0046807号与Compton等人的美国专利申请公开案第2007/0024931号两者描述组合彩色滤光器与全色滤光元件的以某种方式在空间上交错的替代传感器配置。在此类型解决方案的情况下，图像传感器的一些部分检测色彩，其他全色部分为改良的动态范围及敏感性经最佳化以检测横跨可见频带的光。因此，此等解决方案提供像素图案，一些像素具有彩色滤光器(提供窄频光谱响应)且一些像素没有彩色滤光器(未经滤光的“全色”像素或经滤光以提供宽频光谱响应的像素)。但是此解决方案并不足以允许在低光条件下捕捉无运动模糊的高品质图像。

在天体照相术及远端感测领域中已知，另一种减少模糊且在低光场景中捕捉图像的方法为捕捉两个图像：具有高空间分辨率的全色图像与具有低空间分辨率的多谱图像。图像经稠和产生具有高空间分辨率的多谱图像。此等方法描述于美国专利第7,340,099号、美国专利第6,937,774号及美国专利申请公开案第2008/0129752号。此等方法的缺点包含对储存多重图像的额外缓冲存储器的需要及解决物体运动模糊的困难。

因此，存在以下需要：在不增加图像噪声且没有明显的额外成本或复杂性或存储器需求的情况下，藉由使用习知的电子图像传感器，不使用摄影闪光灯而产生具有彩色及全色像素、减少运动模糊的改良的彩色滤光器阵列图像或全色图像。

发明内容

本发明的目的为提供一种具有彩色及全色像素的经修改的CFA图像或全色图像。

此目的藉由一种修改具有多个色彩通道及一个全色通道的CFA图像或全色图像的方法而达到，该方法包括：

(a)利用CFA传感器在与色彩图像通道中的至少一个不同的曝光时间捕捉一个图像内的该全色通道；

(b)自该CFA图像产生全色边缘图及彩色边缘图；

(c)使用该全色边缘图及该彩色边缘图以提供运动估计；及

(d)使用运动估计以修改CFA图像或全色图像的通道中的至少一个。

本发明的优点为：在不必使用合适地曝光单一影像图像的摄影闪光灯或长曝光时间的情况下，藉由对图像处理软件做基本变化可产生具有减少模糊的改良的彩色滤光器阵列图像或全色图像。

本发明的另一优点为：在不需要具有横向可移动透镜元件的昂贵的特殊透镜情况下，可产生具有减少的图像捕捉装置引发模糊的彩色滤光器阵列图像或全色图像。

本发明的另一优点为：在不需要用于储存多重图像的增加的缓冲存储器情况下，可产生具有减少模糊的彩色滤光器阵列图像或全色图像。

附图简述

图1为包含用于实施本发明的数码相机的计算机系统的透视图；

图2为本发明的较佳实施例的区块图；

图3为更详细地显示图2中的区块202的区块图；

图4为用于图3内的区块218中的像素区域；

图5为更详细地显示图2中的区块206的区块图；

图6为在图5内的区块238中的像素区域；

图7为在图5内的区块238中的像素区域；

图8为在图5内的区块250中的像素区域；

图9为更详细地显示图2中的区块210的区块图；

图10为在图2内的区块204的更详细图式；

图11为在图2内的区块200中的像素区域；

图12为产生于图2内的区块214中的像素区域；及

图13为本发明的替代实施例的区块图。

实施方式

在下列描述中，将就通常实施为软件程序而言，描述本发明的较佳实施例。本领域的技术人员将容易地了解此种软件的等效物亦可建构在硬件中。因为图像处理算法及系统为人熟知，所以本描述将尤其针对形成根据本发明的系统及方法的部分或更直接地与根据本发明的系统及方法合作的算法及系统。此算法及系统及用于产生且或者处理其所涉及的图像信号(未特定在本文中显示或描述)的硬件或软件的其他方面可从在该技术领域已知的此等系统、算法、组件及元件中选择。给出如根据在下列材料中的本发明所描述的系统，本文未特定显示、建议或描述对本发明的实施方案有用的软件是习知且在此技术领域的一般技术内。

此外，如本文所使用，该计算机程序可储存在计算机可读储存介质中，该介质可包含(例如)诸如磁(诸如硬驱动或软盘)或磁带的磁性储存介质；诸如光盘、光带或机器可读条码的光学储存介质；诸如随机存取存储器(RAM)或只读存储器(ROM)的固态电子储存装置或用于储存计算机程序的任何其他物理装置或介质。

在描述本发明之前，有助于理解的是，注意，本发明是较佳地在任何熟知的计算机系统(例如个人计算机)上使用。因此，本文将不详细讨论计算机系统。亦富有教益的是，注意，图像直接输入至计算机系统中(例如藉由数码相机)或在输入至计算机系统的前经数字化(例如藉由扫描原件，诸如卤化银胶片)。

参考图1，其绘示用于实施本发明的计算机系统110。虽然出于绘示较佳实施例的目的显示该计算机系统110，但是本发明不限于所显示的该计算机系统110，而是可用在诸如发现于家用计算机、信息站、零售或批发照片冲印中的任何电子处理系统或用于处理数字图像的任何其他系统上。该计算机系统110包含用于接收及处理软件程序且用于执行其他处理功能的基于微处理器的单元112。显示器114电连接至该基于微处理器的单元112，用于显示与该软件相关的使用者相关信息(例如藉由图形用户介面)。键盘116还连接至该基于微处理器的单元112，用于允许使用者输入信息至该软件。作为对使用该键盘116用于输入的替代，可使用滑鼠118来移动在该显示器114上的选择器120且用于选择该选择器120覆盖于其上的项目，如在该技术领域所熟知。

压缩盘只读存储器(CD-ROM)124(其通常包含软件程序)插入该基于微处理器的单元用于提供输入软件程序及其他信息至基于微处理器的单元112的方式。另外，软盘126亦可包含软件程序，且被插入基于微处理器的单元112用于输入软件程序。压缩盘只读存储器(CD-ROM)124或软盘126可替代地插入外置盘驱动单元122，该盘驱动单元122连接至基于微处理器的单元112。此外，基于微处理器的单元112可被编程(如在该技术领域所熟知)用于内部储存该软件程序。该基于微处理器的单元112亦可具有至外部网路(诸如局域网或因特网)的网路连接件127(诸如电话线)。打印机128也可连接至基于微处理器的单元112，用于打印来自该计算机系统110输出的硬拷贝。

图像亦可经由个人计算机卡(PC卡)130显示在该显示器114上，诸如(如先前所知)PCMCIA卡(基于个人计算机存储卡国际协会的规范)，其含有电子地体现在该PC卡130中的数字化的图像。该PC卡130最终插入该基于微处理器的单元112而允许在该显示器114上可视地显示该图像。或者，该PC卡130可插入连接至该基于微处理器的单元112的外置的PC卡读取器132。图像亦可经由压缩盘124、软盘126或网路连接件127输入。储存在该PC卡130、软盘126或压缩盘124中或透过网路连接件127输入的任何图像可已从各种源(诸如数码相机(未显示)或扫描器(未显示))获得。图像亦可经由连接至基于微处理器的单元112的相机衔接端口136自数码相机134直接输入，或经由连接至该基于微处理器的单元112的电缆连接件138或经由连接至该基于微处理器的单元112的无线连接件140自该数码相机134直接输入

根据本发明，该算法可储存在至此所提及的储存装置的任一者中且为了内插稀疏分布的图像而应用至图像。

图2为较佳实施例的高级图。该数码相机134负责产生原始数字红色-绿色-蓝色-全色(RGBP)彩色滤光器阵列(CFA)图像200，其亦称为数字RGBP CFA图像或RGBP CFA图像。在此点处要注意，其他色彩通道组合(诸如青色-赤色-黄色-全色)可用于在下列描述中取代红色-绿色-蓝色-全色。关键项目为包含全色通道。将此图像视为稀疏采样图像，因为在该图像内的各像素仅含有一个红色、绿色、蓝色像素值或全色数据。全色边缘图产生区块202自该RGBP CFA图像200产生全色边缘图204。彩色边缘图产生区块206产生彩色边缘图208。运动估计区块210自该全色边缘图204及该彩色边缘图208产生运动估计212。运动补偿区块214自该RGBP CFA图像200及运动估计212产生经修改的RGBP CFA图像216。

图3为该较佳实施例的区块202(图2)的更详细视图。全色像素模糊区块218接收该RGBP CFA图像200(图2)且产生模糊的全色CFA图像220。边缘梯度产生区块222接收该模糊的全色CFA图像220且产生边缘梯度图224。边缘幅度产生区块226自该边缘梯度图224产生边缘梯度及幅度图228。边缘薄化区块230自该边缘梯度及幅度图228产生薄化边缘图232。最后，边缘幅度阈值区块234自该薄化边缘图232产生全色边缘图204(图2)。

在图3中，该全色像素模糊区块218可以本领域的技术人员所知的任意合适的方式执行。参考图4，为像素P₁₃产生模糊全色值P_13B的一种方式为在所显示的四邻内计算全色像素值的加权平均，诸如：

P_13B＝(P₁+2P₃+P₅+2P₁₁+4P₁₃+2P₁₅+P₂₁+2P₂₃+P₂₅)/16

本领域的技术人员将明白，可使用其他组权重。

返回图3，该边缘梯度产生区块222可以本领域的技术人员所知的任意合适的方式执行。参考图4，为像素B₁₄产生全色边缘梯度E_14H及E_14V的一种方式为计算自邻近模糊全色像素的绝对差值，诸如：

E_14H＝|P_13B-P_15B|

E_14V＝|P_9B-P_19B|

此方法将对图4中的每个非全色像素均有用。在全色像素情况下，为像素P₁₃产生全色边缘梯度E_13H及E_13V的一种方式为计算来自邻近模糊全色像素的绝对差值的平均值，诸如：

E_13H＝(|P_7B-P_9B|+|P_17B-P_19B|)/2

E_13V＝(|P_7B-P_17B|+|P_9B-P_19B|)/2

此方法将对图4中的每个全色像素均有用。本领域的技术人员将明白，可使用产生边缘梯度的其他方法。

返回图3，该边缘幅度产生区块226可以本领域的技术人员所知的任意合适的方式执行。参考图4，产生全色边缘幅度E_13M的一种方式为求和全色边缘梯度E_13H及E_13V。此(方式)将对图4中的所有像素均有用。本领域的技术人员将明白，可使用产生边缘幅度的其他方法。

返回图3，该边缘薄化区块230可以本领域的技术人员所知的任意合适的方式执行。参考图4，产生薄化全色边缘幅度E_13T的一种方式是藉由本领域的技术人员通常称为非最大值抑制的方法。下列伪代码描述用于产生E_13T的此方法的一个实例：

用文字表达，若E_13M不大于其的水平或垂直相邻值，则将E_13T设定为零。否则，将E_13T设定为E_13M。基于全色边缘梯度E_13H及E_13V的相对大小进行水平处理对垂直处理的方向决定。

返回图3，该边缘幅度阈值区块234可以本领域的技术人员所知的任意合适的方式执行。参考图4，产生全色边缘图值E₁₃的一种方式是藉由本领域的技术人员通常称为硬阈值(hard thresholding)的方法。简单地说，若E_13T大于供应阈值，则将E₁₃设定为E_13T。否则，将E₁₃设定为零。该供应阈值为使所得到的全色边缘图204(图2)没有虚假且无弱边缘特征及噪声并仅保留强的、可视良好界定的边缘特征的值。

图5为该较佳实施例的区块206(图2)的更详细视图。RGB CFA图像产生区块236接收RGBP CFA图像200(图2)且产生RGB CFA图像238。RGB像素模糊区块240接收RGB CFA图像238且产生模糊的RGB CFA图像242。边缘梯度产生区块244接收模糊的RGB CFA图像242且产生边缘梯度图246。边缘幅度产生区块248自边缘梯度图246产生边缘梯度及幅度图250。边缘图重定大小区块252自该边缘梯度及幅度图250产生经重定大小的边缘梯度及幅度图254。边缘薄化区块256自该经重定大小的边缘梯度及幅度图254产生薄化边缘图258。最后，边缘幅度阈值区块260自该薄化边缘图258产生该彩色边缘图208(图2)。

在图5中，该RGB CFA图像产生区块236可以本领域的技术人员所知的任意合适的方式执行。图4为该RGBP CFA图像200(图2)的部分的实例。图6为该RGB CFA图像238的部分的实例。产生RGB CFA图像值R₂₆(图6)的一种方式为计算自显示于图4中的该RGBP CFA图像200(图2)的该部分的红色像素值的平均值，诸如：

R₂₆＝(R₂+R₆)/2

以类似的方式，可计算显示于图6中的其他RGB CFA图像值：

G₂₇＝(G₄+G₈)/2

G₂₈＝(G₁₂+G₁₆)/2

B₂₉＝(B₁₄+B₁₈)/2

在预期在下文讨论该边缘图重定大小区块252时，应注意，该RGB CFA图像238具有如该RGBP CFA图像200(图2)具有的像素数目的四分之一。

返回图5，该RGB像素模糊区块240可以本领域的技术人员所知的任意合适的方式执行。参考图7，为像素G₄₂产生模糊的绿色值G_42B的一种方式为计算在所显示的四邻内的该等绿色像素值的加权平均数，诸如：

G_42B＝(G₃₀+2G₃₂+G₃₄+2G₄₀+4G₄₂+2G₄₄+G₅₀+2G₅₂+G₅₄)/16

可同样对该等红色及蓝色像素应用类似处理。本领域的技术人员将明白，可使用其他组权重。

返回图5，该边缘梯度产生区块244可以本领域的技术人员所知的任意合适的方式执行。参考图7，为像素B₄₃产生彩色边缘梯度F_43H及F_43V的一种方式为计算自该等邻近模糊的绿色像素的绝对差值，诸如：

F_43H＝|G_42B-G_44B|

F_43V＝|G_38B-G_48B|

此方法将对图7中的每个红色及蓝色像素均有用。在绿色像素情况下，为像素G₄₂产生彩色边缘梯度F_42H及F_42V的一种方式为计算自该等邻近模糊的绿色像素的绝对差值的平均值，诸如：

F_42H＝(|G_36B-G_38B|+|G_46B-G_48B|)/2

F_42V＝(|G_36B-G_46B|+|G_38B-G_48B|)/2

此方法将对图7中的每个绿色像素均有用。本领域的技术人员将明白，可使用产生边缘梯度的其他方法。

返回图5，该边缘幅度产生区块248可以本领域的技术人员所知的任意合适的方式执行。参考图7，产生彩色边缘幅度F_42M的一种方式为求和该等彩色边缘梯度F_42H及F_42V。此方法将对图7中的所有像素均有用。本领域的技术人员将明白，可使用产生边缘幅度的其他方法。

返回图5，该边缘图重定大小区块252可以本领域的技术人员所知的任意合适方式执行。如上文所涉及，当描述该RGB CFA图像产生区块236时，因为该RGB CFA图像238具有如RGBP CFA图像200(图2)具有的像素数目的四分之一，所以该边缘梯度及幅度图250亦具有如该RGBP CFA图像200(图2)具有的像素数目的四分之一。该边缘梯度及幅度图250包含彩色边缘梯度F_H与F_V，以及彩色边缘幅度F_M。为了产生与该RGBP CFA图像200(图2)具有相同像素数目的重定大小的边缘梯度及幅度图254，该边缘梯度及幅度图250的尺寸(列数及行数)需要加倍。此可使用任意标准内插技术完成，如双线性内插或双三次内插。该较佳实施例的方法将使用双线性内插。参考图8，彩色边缘幅度值F_1M、F_3M、F_7M及F_9M来自该边缘梯度及幅度图250。该边缘图重定大小区块252以下列方式计算其他彩色边缘幅度值：

F_2M＝(F_1M+F_3M)/2

F_4M＝(F_1M+F_7M)/2

F_5M＝(F_1M+F_3M+F_7M+F_9M)/4

F_6M＝(F_3M+F_9M)/2

F_8M＝(F_7M+F_9M)/2

返回图5，该边缘薄化区块256可以本领域的技术人员所知的任意合适方式执行。参考图8，产生薄化彩色边缘幅度F_5T的方式是藉由本领域的技术人员通常称为非最大值抑制的方法。下列伪代码描述用于产生F_5T的此方法的实例：

用文字表达，若F_5M不大于其的水平或垂直邻近值，则将F_5T设定为零。否则，将F_5T设定为F_5M。基于全色边缘梯度F_5H与F_5V的相对大小，进行水平处理对垂直处理的方向决定。

返回图5，该边缘幅值阈值区块260可以本领域的技术人员所知的任意合适方式执行。参考图8，产生彩色边缘图值F₅的一种方式是藉由本领域的技术人员通常称为硬阈值的方法。简单地说，若F_5T大于供应阈值，则将F₅设定为F_5T。否则，将F₅设定为零。该供应阈值为使所得到的彩色边缘图208(图2)没有虚假且无弱边缘特征及噪声并仅保留强的、可视良好界定的边缘特征的值。

图9为该较佳实施例的区块210(图2)的更详细视图。互相关产生区块262接收该全色边缘图204(图2)及该彩色边缘图208(图2)且产生互相关图264。最大值搜寻区块266接收该互相关图264且产生区块运动估计268。运动估计内插区块270接收区块运动估计268且产生运动估计212(图2)。

在图9中，该互相关产生区块262可以本领域的技术人员所知的任意合适方式执行。参考图10，在该较佳实施例中，该全色边缘图204(图2)分割为区域区块272的8×8阵列。各区域区块272包含原始边缘图的1/64。为了给各区域区块272产生互相关图264(图9)，该区域区块272移位一些列数及行数的位置且将得到的经移位区域区块274与(未移位)彩色边缘图208(图2)进行比较。对于在该经移位区域区块274中的各像素位置(亦即(i，j)∈B)，计算下列求和：

$C(i_s,j_s)=\underset{(i,j)\∈B}{\mathrm{\Σ}}\min [E(i+i_s,j+j_s),F(i,j)]$

在此等式中，E是来自该经移位区域区块274的值且F是来自该彩色边缘图208(图2)的值。移位量为i_s列及j_s行。C为该互相关图264(图9)的值。函数min()返回两个值的较小值。在该较佳实施例中，i_s与j_s的值范围为-7至7，从而得到该互相关图264(图9)包含15×15阵列值。

返回图9，该最大值搜寻区块266为(得到)在该互相关图264内的具有最大值的位置(i_s，j_s)而搜寻该互相关图264。此特定(i_s，j_s)值成为对该给定区域区块272(图10)的区块运动估计。所有此等区块运动估计起成为该全色边缘图204(图2)的区块运动估计268。结果，区块运动估计268包含8×8阵列值。

返回图9，运动估计内插区块270藉由内插区块运动估计268为在全色边缘图204(图2)中的各像素位置产生运动估计212(图2)。此内插可以本领域的技术人员所知的任意方式执行。该较佳实施例使用双线性内插。将该等区块运动估计268的各者视为对应于各区域区块272(图10)的中央。此等值其后内插至在该全色边缘图204(图2)中的每一其他位置。

返回图2，该运动补偿区块214藉由运动估计212所指示的内插全色值取代在该RGBP CFA图像200中的全色值。图11绘示典型情形。像素P₅₆的运动估计212(图2)指示P₅₆处的值将由P′处的值取代。不存在以P′为中心的像素，故必须内插该值。此操作在该较佳实施例中透过双线性内插完成。假设图11中的四个全色像素的座标位置如下：P₅₆(-1，0)、P₅₅(0，1)、P₅₇(1，0)及P₅₈(0，-1)。所要位置的座标为P′(x，y)。藉由下列仿射变换将图11中的设置变换为图12中的设置。

$\left\{\begin{array}{c}{x}^{\′\′}=\frac{1+x-y}{2}\\ y^{\′\′}=\frac{1+x+y}{2}\end{array}\right.$

图12中的该等全色像素的座标现在为P₅₆(0，0)、P₅₅(0，1)、P₅₇(1，1)及P₅₈(1，0)。所要位置的座标为P′(x″，y″)。图12现在为标准的双线性内插问题且答案是由下列表达式给出：

P′＝(P₅₈-P₅₆)x″+(P₅₅-P₅₆)y″+(P₅₇+P₅₆-P₅₅-P₅₈)x″y″+P₅₆

图13为替代实施例的高级图。该数码相机134(图1)产生RGBP CFA图像200。全色边缘图产生区块202自该RGBP CFA图像200产生全色边缘图204。彩色边缘图产生区块206产生彩色边缘图208。运动估计区块210自该全色边缘图204及该彩色边缘图208产生运动估计212。CFA内插区块276自该RGBPCFA图像200产生全色图像278。运动补偿区块280自该全色图像278及运动估计212产生经修改的全色图像282。

在图13中，区块200至区块212已在该较佳实施例下讨论过。可如美国专利申请公开案第2007/0248753号中所描述地，执行该CFA内插区块276。该得到的全色图像278包含全分辨率红色、绿色、蓝色及全色通道。该运动补偿区块280操作在该全色图像278的该全分辨率全色通道上。因为在该全色图像278中的该等全色像素值已经如在图12中配置，所以可藉由简单地省略该初始仿射变换步骤而使用先前讨论的运动补偿区块214(图2)的方法。该经修改的全色图像282将包含全分辨率红色、绿色、蓝色及经运动补偿的全色通道。

揭示于本发明的该等较佳实施例内的运动补偿算法可用于各种使用者背景及环境中。例示性背景及环境包含(但不限于)批发数字照片冲印(其涉及诸如胶片输入、数字处理、打印输出的例示性处理步骤或阶段)、零售数字照片冲印(胶片输入、数字处理、打印输出)、家用打印(家用扫描的胶片或数字图像、数字处理、打印输出)、桌面软件(应用算法于数字打印以使打印更佳或甚至改变打印的软件)、数字实现(来自介质或网页上的数字图像输入、数字处理、以介质上的数字形式、网页上的数字形式或打印在硬拷贝打印上的图像输出)、信息站(数字输入或经扫描的输入、数字处理、数字输出或扫描输出)、移动装置(例如可用作为处理单元、显示单元或给出处理指令的单元的PDA或蜂窝式电话)及作为经由全球信息网提供的服务。

在各情况下，运动补偿算法可为独立的或可为大型是统解决方案的组件。此外，与该算法的介面(例如扫描或输入、数字处理、对使用者的显示器(若需要)、使用者请求或处理指令的输入(若需要)、输出)可各自处在相同或不同的装置或实体位置上，且该等装置与位置的间的通信可经由公用或私用网路连接或基于介质的通信。在与本发明的以上揭示内容一致的情况下，算法自身可为全自动，可具有使用者输入(其为全手动或部分手动)，可具有使用者或操作者检查以接收/拒绝该结果，或可由元数据(元数据可为使用者供应，可由量测装置(例如在相机中)供应，或由算法判定)辅助。此外，算法可与各种工作流程使用者介面方案接合。

根据本发明的本文揭示的运动补偿算法可具有使用各种数据检测及减少技术(例如脸部检测、眼部检测、皮肤检测、闪光灯检测)的内部组件。

元件符号说明

110                计算机系统

112                基于微处理器的单元

114                显示器

116                键盘

118                鼠标

120                显示器上选择器

122                盘驱动单元

124                紧致盘只读存储器(CD-ROM)

126                软盘

127                网路连接件

128                打印机

130                个人计算机卡(PC卡)

132                PC卡读取器

134                数码相机

136                相机衔接端口

138                电缆连接件

140                无线连接件

200                RGBP CFA图像

202                全色边缘图产生

204                全色边缘图

206                彩色边缘图产生

208                彩色边缘图

210                运动估计

212                运动估计

214                运动补偿

216                经修改的RGBP CFA图像

218                全色像素模糊

220                模糊的全色CFA图像

222                边缘梯度产生

224                边缘梯度图

226                边缘幅度产生

228                边缘梯度及幅度图

230                边缘薄化

232                薄化边缘图

234                边缘幅值阈值

236                RGB CFA图像产生

238                RGB CFA图像

240                RGB像素模糊

242                模糊的RGB CFA图像

244                边缘梯度产生

246                边缘梯度图

248                边缘幅度产生

250                边缘梯度及幅度图

252                边缘图重定大小

254                重定大小的边缘梯度及幅度图

256                边缘薄化

258                薄化边缘图

260                边缘幅度阈值

262                互相关产生

264                互相关图

266                最大值搜寻

268                区块运动估计

270                运动估计内插

272                区域区块

274                移位的区域区块

276                CFA内插

278                全色图像

280                运动补偿

282                经修改的全色图像

Claims (5)

1.一种修改具有多个色彩通道及一个全色通道的CFA图像或全色图像的方法，该方法包括：

(a)利用CFA传感器在与色彩图像通道中的至少一个不同的曝光时间捕捉一个图像内的全色通道；

(b)自CFA图像产生全色边缘图及彩色边缘图；

(c)使用全色边缘图及彩色边缘图以提供运动估计；及

(d)使用运动估计以修改CFA图像或全色图像的通道中的至少一个。

2.如权利要求1的所述方法，其特征在于，所述步骤(b)还包含：

(a)自CFA图像产生模糊的全色CFA图像；

(b)自模糊的全色CFA图像产生边缘梯度图；

(c)自边缘梯度图产生边缘梯度及幅度图；

(d)自边缘梯度及幅度图产生薄化边缘图；及

(e)自薄化边缘图产生全色边缘图。

3.如权利要求1的所述方法，其特征在于，所述步骤(b)还包含：

(a)自CFA图像产生RGB CFA图像；

(b)自RGB CFA图像产生模糊的RGB CFA图像；

(c)自模糊的RGB CFA图像产生边缘梯度图；

(d)自边缘梯度图产生边缘梯度及幅度图；

(e)自边缘梯度及幅度图产生重定大小的边缘梯度及幅度图；

(f)自重定大小的边缘梯度及幅度图产生薄化边缘图；及

(g)自薄化边缘图产生彩色边缘图。

4.如权利要求1的方法，其特征在于，所述步骤(c)还包含：

(a)自全色边缘图产生互相关图；

(b)自互相关图产生区块运动估计；及

(c)自区块运动估计产生运动估计。

5.如权利要求1的方法，其特征在于，所述步骤(d)还包含使用运动估计以修改CFA图像或全色图像的全色通道。

Images