CN102376083B - 串色图像处理系统和提高清晰度的方法 - Google Patents

Abstract

本发明提供了一种用于处理检测到的复色图像以形成处理后的复色图像的系统和方法，其中，对于图像的每一系列像素，其包括如下处理步骤：(1)识别检测到的复色图像中围绕给定像素的像素块；(2)通过围绕给定像素的像素检测到的色彩强度值，计算每一组检测到的色彩对于给定像素的权重因子系数；(3)计算对应于每个非选定色彩的原色贡献；(4)带上相应的权重因子系数，使选定色彩的每个检测到的色彩强度值对应于非选定色彩的原色贡献相乘，以形成加权的色彩贡献；(5)使加权的色彩贡献相加，以形成选定色彩对于给定像素的处理后的色彩强度值。

Description

串色图像处理系统和提高清晰度的方法

本申请要求美国临时申请61/364,272(以下称为“272临时申请”)的优先权，该临时申请的申请日为2010年7月14日，并且其内容通过引用被合并到本申请中。

背景技术

一个图像模块包括至少一个透镜和一个图像传感器。图像传感器检测到的图像显示于显示屏上。一般而言，图像传感器具有三种类型的检测元件，每个检测元件提供关于原色(如红(R)、绿(G)、蓝(B)中的一种)的色彩强度值(color intensity value)，相应地，传感器向显示屏提供R、G、B单色图像，每一单色图像都是具有每一单色之色彩强度值的像素的组合。

在某些情况下，透镜具有色差，导致原色像素中的偏差。相应地，透镜所形成的单一R、G、B单色图像并未成像于同一焦平面上。如果图像传感器的位置进行调整以优化R图像，检测到的R图像将会变得清晰，而检测到的G图像和B图像则不会。

为了使所有的R、G、B图像都变得清晰，有时候检测到的R、G、B图像在投向显示屏之前，要先进行处理及电子校正。目前有许多方法可以利用最清晰图像中得到的信息对不清晰的图像进行校正。值得欣慰的是，一些方法尝试寻找最清晰的图像(在R、G、B中)以校正不够清晰的图像。大体上，这些方法涉及提高锐度(sharpness，或称清晰度)的串色(cross-color)图像处理。

在现有技术中，这些串色图像处理方法相当复杂，且经常不精确。例如，与物体到成像器的距离有关，R、G、B中最清晰的图像可能变化。即，在一个单独的图像中，近物的最清晰的单色图像(R、G或B)与远物的最清晰的单色图像(R、G或B)是不同的；因而，无法界定一复色图像(composite color image，或称复合色彩图像)中那个最清晰的单色图像(R、G或B)。尽管某些串色图像处理中的问题可以通过替代方法解决，例如通过将图像分成几个区域，但这导致了较长时间的计算处理。

发明内容

在本发明的一实施方式中，本发明提供了一种将检测的复色图像进行处理、以形成处理后的复色图像的方法，该方法包括：将检测的复色图像检测为一组单色图像，每一单色图像包括该图像一系列(a plurality of)像素中每一像素的一组检测的色彩之一的色彩强度值。该方法还包括识别图像中围绕某一像素的像素块(a windowof pixels)，并从围绕该像素之各像素的、所检测的色彩强度值，计算出每一检测的色彩的权重因子系数。该方法还包括计算对应于每一非选定色彩的原色贡献(raw color contributions)；用相应的权重因子系数，乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；使加权的色彩贡献相加，以形成该像素的处理后的色彩强度值。

在本发明的另一实施方式中，本发明提供了一种用于处理检测的复色图像以形成处理后的复色图像的方法；对于图像中一系列像素的每一像素，该方法包括如下的处理步骤：(1)识别该图像中围绕该像素的像素块；(2)从围绕该像素之各像素检测的色彩强度值，计算出每一检测的色彩的权重因子系数；(3)计算对应于每个非选定色彩的原色贡献；(4)用相应的权重因子系数，乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；(5)使加权的色彩贡献相加，以形成该像素处理后的色彩强度值。

在本发明的又一实施方式中，本发明提供了一种图像传感器，其包括光学成像元件、图像传感器和图像处理器。图像处理器利用图像传感器检测的复色图像进行处理，形成处理后的复色图像。对于检测到的复色图像的每一像素，该处理包括如下步骤：(1)识别该图像中围绕该像素的像素块；(2)从围绕该像素之各像素检测的色彩强度值，计算出每一检测的色彩的权重因子系数；(3)计算对应于每个非选定色彩的原色贡献；(4)用相应的权重因子系数，乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；(5)使加权的色彩贡献相加，以形成该像素处理后的色彩强度值。

附图说明

图1显示了一种用于提高清晰度的串色处理系统；

图2显示了一示范性的像素阵列；

图3显示了用于修正位于像素块中央的B像素值的示范性的9×9像素块；

图4显示了用于修正位于像素块中央的R像素值的示范性的9×9像素块；

图5显示了用于修正位于像素块中央的G像素值的示范性的9×9像素块，其中位于像素块中央的G像素具有横向相邻的R像素；

图6显示了用于修正位于像素块中央的G像素值的示范性的9×9像素块，其中位于像素块中央的G像素具有横向相邻的B像素；

图7(A)显示了一种示范性的处理前的蓝色图像；

图7(B)显示了图7(A)处理后的蓝色图像；

图8(A)显示了一种示范性的处理前的绿色图像；

图8(B)显示了图8(A)处理后的绿色图像；

图9(A)显示了一种示范性的处理前的红色图像；

图9(B)显示了图9(A)处理后的红色图像；

图10(A)显示了一种示范性的处理前的色彩输入图像；

图10(B)显示了图10(A)处理后的色彩图像。

具体实施方式

此处所公开的是用于提高清晰度的串色图像处理系统和方法，其利用计算处理，而不需要搜索最清晰的图像。例如，一彩色图像传感器具有形成单一R、G、B色彩图像的R、G、B像素。单一R、G、B色彩图像中的一个可能清晰，而另外两个图像可能不清晰。由最清晰的图像得到的信息可用于校正不清晰的图像；然而，经常不知道R、G、B中的哪一个是最清晰的图像。

在本发明的一实施方式中，修正第一色彩的像素，以使其最终处理后的色彩强度值为以下的线性组合：其本身所检测到的色彩强度值、由像素块(window)中第二色彩的像素的所检测到的色彩强度值得到的值、以及由该像素块中第三色彩的像素的所检测到的色彩强度值得到的值，其分别具有第一系数、第二系数、第三系数。第一系数与像素块中第一色彩的像素的平均梯度成比例，第二系数与像素块中第二色彩的像素的平均梯度成比例，第三系数与像素块中第三色彩的像素的平均梯度成比例。

例如，像素块为9×9的像素块，待修正的像素位于像素块的中心。通过将中心像素移动到下一个像素(该像素可能为不同的色彩)，来移动像素块。对于所有或者大部分像素重复进行该处理，除对于该像素块中的不同像素结构进行调整外。

相应地，处理后的单一R、G、B图像具有较大的平均梯度，或者在处理后的复色图像中锐度较高，即使没有对R、G、B中最清晰的图像进行确定，从而相对于现有技术中的串色图像处理技术，大幅减少了计算负担。利用检测到的所有三种原色之单色图像的贡献进行线性组合，提高了最终处理后的复色图像的清晰度，同时也避免了丢失每种单色图像的原始信息。

在本发明的另一实施方式中，第一系数与高频掩码(highfrequency mask)和像素块中第一色彩像素所检测到的色彩强度值的内积的大小成比例；第二系数与高频掩码和像素块中第二色彩像素所检测到的色彩强度值的内积的大小成比例；第三系数与高频掩码和像素块中第三色彩像素所检测到的色彩强度值的内积的大小成比例。

在本发明的又一实施方式中，第一系数与像素块中第一色彩像素所检测到的色彩强度值的局部对比度成比例；第二系数与像素块中第二色彩像素所检测到的色彩强度值的局部对比度成比例；第三系数与像素块中第三色彩像素所检测到的色彩强度值的局部对比度成比例。

图1显示了串色处理系统20，其对物体22拍照。系统20具有光学成像元件24、图像传感器26、处理器28、任选的显示屏30、任选的存储单元32。光学成像元件24在图像传感器26上对物体22进行光学成像。光学成像元件24可以是简单透镜、复合透镜、具有人为的过度色差的特殊设计的透镜、衍射光学器件(DOE)、上述几种的组合，或者能对物体光学成像的任何结构。

图像传感器26进行检测，并将光强度转化为表示检测到的色彩强度值的电信号。例如，图像传感器26为CMOS图像传感器，其形成为检测元件的阵列。每个检测元件在光学成像元件24所成图像的特定点提供对应于光强度的色彩强度值。此处，位于图像上给定点的所有三种色彩的色彩强度值作为“像素”，所有像素的和则作为“复合图像”。处理器28处理对应于图像传感器26检测到的复色图像的电信号。如果系统20包括显示屏30，则可以显示处理后的复色图像。如果系统20包括存储单元32，则处理器28处理后的复色图像可以存储于存储单元32中。

图像传感器26形成检测元件阵列。在一实施例中，检测元件如图2所示，其排列成若干行和若干列。图像传感器26中可以有数以百计或千计的行和列。图像传感器26的检测元件将照在其上的入射光强度转化为代表了在被检测到的图像的相应位置检测到的光强度值的电信号。每个检测元件都对一种色彩敏感，例如红(R)、绿(G)、蓝(B)。或者，检测元件也可以对另一套不同的色彩敏感，例如青(C)、品红(M)、黄(Y)，或其它色彩。检测元件的色彩敏感性可以通过在检测元件上设置色彩过滤器来进行限定。如图2所示，检测元件阵列经常使用拜尔模板(Bayer pattern)。根据拜尔模板，一套四检测元件包括一个R检测元件、一个B检测元件、两个G检测元件。虽然拜尔模板被做为一实施例，本发明公开的内容并不不限于拜尔模板。

为了说明，当系统20对物体22拍照(图1所示)时，图像传感器26检测到三个单色图像(例如一个R图像、一个G图像、一个B图像)，以形成检测到的复色图像。R图像由R检测元件生成，G图像由G检测元件生成，B图像由B检测元件生成(图2所示)。三个检测到的单色图像提供给处理器28进行处理(这样在本实施例中，图像传感器26将每个像素检测到的色彩强度值提供给处理器28)。之后，处理后的复色图像又被显示于显示屏30。

由图像传感器26所检测到的三个单色图像可能彼此不相同，其区别可能由物体22的色彩内容所导致；另一方面，该区别可能由于光学成像元件24形成的单色图像不同而导致。例如，其可能由光学成像元件24的固有特性所导致，例如色差；或者光学成像元件24可能被特意设计为由不同的色彩形成不同的图像。

在一实施方式中，处理器28生成处理后的复色图像，该复色图像修正三种检测到的单色图像以提高相似度，例如通过调整每种单色图像的清晰度而不显著改变色彩内容。例如，假定物体22是一只黄色的苹果，其被系统20成像。注意，红色加绿色即形成黄色，因此图像传感器26生成了该黄色苹果的一个红色单色图像和该黄色苹果的一个绿色单色图像。在该实施例中，假定苹果的红色图像清晰而苹果的绿色图像不清晰，因为光学成像元件24是在不同的平面上形成的红色和绿色图像(例如，红色焦平面和绿色焦平面)，而图像传感器26位于红色焦平面上。这样，本实施例的处理器28通过将绿色图像修正为像红色图像一样清晰以生成处理后的图像(如下面段落所述)，以达到当处理后的红色和绿色图像合并，黄色苹果的最终图像可能比未处理的图像清晰。然而，苹果的色彩不会有明显的改变。

因而，当光学成像元件(例如透镜)具有色差，其在不同的焦点距离形成单一的红色、绿色、蓝色图像，这使检测到的复色图像模糊。为了生成清晰的彩色图像，传统的方法是将透镜设计为具有最小色差或减少的色差(即消色差透镜)。相对于带有色差的透镜，消色差透镜对于各种色彩的焦平面，例如其红色焦平面、绿色焦平面、蓝色焦平面，是不分开地，或者只按一较小距离分开。当利用此处所公开的方法，虽然被检测到的彩色图像可能因某些被检测的色彩而变糊，但可以在处理器中经图像处理而得以改进，所以设计者可能忽略透镜的色差。进一步地，如前所述，透镜甚至可能被设计为具有过度色差，在这样的透镜中，红色、绿色、蓝色的焦平面显著分离。如同消色差透镜设计，增加色差的透镜设计技术为现有技术。结果，在某些特定色彩焦平面上被检测到的色彩图像可能变糊。通过使用此处所公开的方法，在红色、绿色、蓝色焦平面上所有被检测的色彩图像可以被修正为在所有的红色、绿色、蓝色上形成的清晰色彩图像。换言之，只要成像系统检测到的图像是在至少一种色彩的清晰聚焦情况下生成图像，那么，使用此处所公开的方法，对具有色差的透镜所生成图像进行处理，将有效扩展成像系统的焦深(depth of focus)或景深(depth of field)。

在一实施方式中，处理器28所进行的处理为，通过生成一个处理后的图像(该处理后的图像是基于其邻近像素的检测的色彩强度值、对修正图像数据中每一像素所检测到的色彩强度值进行修正而形成的)，以生成处理后的复色图像。例如，如图2所示，待处理的像素42被围绕像素42的9×9的像素块44内的所有像素影响。像素42位于9×9的像素块44的中心。其它尺寸大小的像素块也在本发明的范围之内；例如，某些其它可能的像素块大小规格包括对称的或非对称的、奇数的或偶数的。尽管该像素位于像素块内，但待处理的像素可能不在非对称像素块的中心，或具有偶数个像素的像素块的中心。因此，虽然本实施例中使用9×9的像素块，在某些情况下，其可能是优化的和优选的像素块尺寸，但在其它情况下可能适用和优选完全不同的像素块尺寸。

图3所示的实施例显示了位于像素块44中央的蓝色像素42。如图所示，像素42被标记为B₅₅，代表其在像素块44中的位置。像素B₅₅处理后的值或最终值B_final，同时也代表像素B₅₅处理后的色彩强度值，是选定色彩(即蓝色)和非选定色彩(即红色和绿色)的加权色彩贡献(weighted color contribution)之和。特别地，B_final是像素B₅₅(B_B)检测到的B值、像素块中对应于R值的原色贡献(B_R)和像素块中对应于G值的原色贡献(B_G)的线性组合：

B_final＝|w_B|^a·B_B+|w_R|^a·B_R+|w_G|^a·B_G，         (1)

其中，|w_B|^a、|w_R|^a、|w_G|^a是线性组合的权重因子系数，w_B、w_R、w_G为权重因子，其定义则如后文讨论。这样，|w_B|^a·B_B为像素块44中对应于检测到的蓝色强度值的权重色彩贡献，|w_R|^a·B_R为像素块44中对应于检测到的红色强度值的权重色彩贡献，|w_G|^a·B_G为像素块44中对应于检测到的绿色强度值的权重色彩贡献。指数“a”为大于1的正实数。为了描述的清楚简要，“a”在下面的实施例中是一致的(unity)。在一些实施方式中，“a”可以是1.2、1.5、1.7、2、3....或任何大于1或等于1的正实数。增加“a”的值即增加了更好聚焦的单色图像对最终图像的贡献，因为如下文所讨论，更好聚焦的单色图像比相对差聚焦的图像具有更大的相应权重因子“w”。因此，增加“a”值即增加了最终图像或复色图像的锐度(清晰度)。然而，如果“a”值过大，复色图像将会包括高频噪点和/或不希望的锐度边界。相应地，在某些实施方式中，“a”等于1，提供了介于图像清晰度和最小图像缺陷之间的可接受的折中。

像素B₅₅处的检测到的B值可以认为是B的初始检测到的色彩强度值，其与最终B值或处理后的色彩强度B值相对。B_B、B_R、B_G定义为：

B_B＝B₅₅

B_R＝Rⁱ+Δ_RB                                     (2)

B_G＝Gⁱ+Δ_GB

其中Rⁱ为位于B₅₅位置的R强度插值，其由像素块中选定的R像素检测到的强度值计算。可用标准方程或特殊方程计算Rⁱ。Gⁱ为位于B₅₅位置的G强度插值，其由像素块中选定的G像素检测到的强度值计算。可用标准方程或特殊插值函数来计算Gⁱ。

Δ_RB是色彩差项，其根据像素块中检测到的B强度值与检测到的R强度值的差值修正Rⁱ。例如，Δ_RB可能为像素块或像素块的一部分中B像素强度值的平均值与R像素强度值的平均值的差。类似地，Δ_GB是色彩差项，其根据像素块中检测到的B强度值与检测到的G强度值的差值修正Gⁱ。例如，Δ_GB可能为像素块或像素块的一部分中B像素强度值的平均值与R像素强度值的平均值的差。在某些其它的实施方式中，每个色彩差项是两个不同色彩像素的加权平均值的差。例如，在这样的实施方式中，Δ_RB是像素块或像素块的一部分中B像素强度值的加权平均值和R像素强度值的加权平均值之差。例如，平均值进行加权可以基于到被修正的像素的距离，其中，距离被修正的像素更近的像素，其权重大于距离被修正的像素更远的像素。

在一实施方式中，权重因子的定义决定了处理器28的输出。例如，权重因子可以与像素块中的单色图像的平均梯度成比例。平均梯度越大，权重因子越大(在本实施方式中)。这样，R、G、B三种单色图像中具有最大平均梯度的一个，将比其它两个具有较小平均梯度的单色图像，对选定像素值的最终处理后的色彩强度值具有更大的贡献(即，等式1)。另一方面，具有较小平均梯度的单色图像具有较小的贡献。结果，最终的三个处理后的图像将具有大的平均梯度。换言之，在处理后的像素块中，如果R、G、B三种单色图像中的一个是清晰的(具有最大的平均梯度)，而其它单色图像不清晰(具有较小的平均梯度)，像素块中所有的处理后的R、G、B图像最终都是清晰的(具有较大的平均梯度)。

例如，权重因子可以由下列公式计算：

$w_B=\frac{B_{\mathrm{grad}}}{B_{\mathrm{grad}}+R_{\mathrm{grad}}+G_{\mathrm{grad}}}$

$w_R=\frac{R_{\mathrm{grad}}}{B_{\mathrm{grad}}+R_{\mathrm{grad}}+G_{\mathrm{grad}}}---\left(3\right)$

$w_G=\frac{G_{\mathrm{grad}}}{B_{\mathrm{grad}}+R_{\mathrm{grad}}+G_{\mathrm{grad}}}$

其中grad表示梯度，B_grad、R_grad、G_grad分别为像素块中B、R、G像素检测到的色彩强度值的平均梯度，例如，

$B_{\mathrm{grad}}=\frac{1}{2}(B_{\mathrm{grad}}^V+B_{\mathrm{grad}}^H)---\left(4\right)$

其中V和H分别表示纵向和横向。参考图3，

$B_{\mathrm{grad}}^H=\frac{1}{20}\left(\right|B_{11}-B_{12}|+|B_{12}-B_{15}|+\·\·\·\·\·\·\·\·+|B_{95}-B_{97}|+|B_{97}-B_{99}\left|\right)---\left(5\right)$

以及

$B_{\mathrm{grad}}^V=\frac{1}{20}\left(\right|B_{11}-B_{31}|+|B_{31}-B_{51}|+\·\·\·\·\·\·\·\·+|B_{59}-B_{79}|+|B_{79}-B_{99}\left|\right)---\left(6\right)$

简要起见，等式(5)和等式(6)未列出括号内所有的20个梯度项。参考图3，R_grad和G_grad可以用通过分别用R和G代替所有的B值，以同样的方式计算。另外，等式(5)和等式(6)可以仅仅包括选定的梯度项。

用这种方式，可以得到B₅₅或者像素42的处理后的色彩强度值，B_final。B_final可任选地进行归一处理。通过调整之后，可以对所有的单色图像的所有像素或大部分像素重复相似的处理。

在另一实施方式中，当掩码(mask)实际小于像素块，权重因子可以与高频掩码和像素块中单一原色的检测的色彩强度值的内积的大小成比例；当掩码实际大于像素块，权重因子可以与高频掩码和扩大的像素块中单一原色的检测到的色彩强度值的内积的大小成比例。高频掩码用于推导图像的高频内容。特别是，如掩码所定义，高频掩码和给出图像的检测到的色彩强度值的内积，提供了图像的高频内容。例如，单独的频率余弦掩码和图像的检测到的色彩强度值的内积能推导出图像在掩码频率的余弦分量。

具有大的高频内容的图像通常比具有小的高频内容的图像清晰。相应地，高频掩码和所给图像的检测到的色彩强度值的内积可能指示相关图像的清晰度，因此，内积越大，与图像相关的权重因子越大。这样，R、G、B三种单色图像中具有最高内积(inner product)的一个，将比其它两个具有较低内积的单色图像，对选定像素值的最终处理后的色彩强度值具有更大的贡献(即，等式1)。另一方面，具有较低内积的单色图像具有较小的贡献。结果，最终的三个处理后的图像将具有高的内积。换言之，在处理后的像素块中，如果R、G、B三种单色图像中的一个是清晰的(具有带有高频掩码的高的内积)，而其它单色图像不清晰(具有带有高频掩码的低的内积)，像素块中所有的处理后的R、G、B图像最终都是清晰的(具有带有高频掩码的高的内积)。

例如，权重因子可以由下列等式计算：

$w_B=\frac{\left|B_{\mathrm{IP}}\right|}{\left|B_{\mathrm{IP}}\right|+\left|R_{\mathrm{IP}}\right|+\left|G_{\mathrm{IP}}\right|}$

$w_R=\frac{\left|R_{\mathrm{IP}}\right|}{\left|B_{\mathrm{IP}}\right|+\left|R_{\mathrm{IP}}\right|+\left|G_{\mathrm{IP}}\right|}---\left(7\right)$

$w_G=\frac{\left|G_{\mathrm{IP}}\right|}{\left|B_{\mathrm{IP}}\right|+\left|R_{\mathrm{IP}}\right|+\left|G_{\mathrm{IP}}\right|}$

其中，IP代表内积，B_IP、R_IP、G_IP分别为像素块B、R、G像素检测到的色彩强度值和高频掩码的内积。例如，一个5×5的高频掩码给出如下：

$M_{\mathrm{HF}}=\left(\begin{array}{ccccc}{m}_{11}& m_{12}& m_{13}& m_{14}& m_{15}\\ m_{21}& m_{22}& m_{23}& m_{24}& m_{25}\\ m_{31}& m_{32}& m_{33}& m_{34}& m_{35}\\ m_{41}& m_{42}& m_{43}& m_{44}& m_{45}\\ m_{51}& m_{52}& m_{53}& m_{54}& m_{55}\end{array}\right)=\left(\begin{array}{ccccc}-1& -3& -4& -3& -1\\ -3& -2& 6& -2& -3\\ -4& 6& 28& 6& -4\\ -3& -2& 6& -2& -3\\ -1& -3& -4& -3& -1\end{array}\right)---\left(8\right)$

高频掩码M_HF是固定的掩码，其独立于单一R、G、B色彩图像的高频组成(component)。高频掩码通常具有周期性和对称性的二维模式，例如等式(8)中所示的例子。当然，也可以使用其它的高频掩码，例如具有余弦模式的掩码。由给出的高频掩码推导出的高频组成取决于掩码的傅里叶变换。

两个连续函数A(x，y)和B(x，y)的内积给出如下：

Inner Product＝∫∫A(x，y)B(x，y)dxdy               (9)

如果A_ij和B_ij是离散函数，内积为

$\mathrm{Inner\; Product}=\underset{i,j}{\mathrm{\Σ}}{A}_{\mathrm{ij}}{B}_{\mathrm{ij}}---\left(10\right)$

参考图3，掩码可以扩展以使B像素与掩码匹配，并且像素B₅₅位于掩码的中心。相应地，B_IP可以定义为：

B_IP＝m₁₁B₁₁+m₁₂B₁₃+m₁₃B₁₅+m₁₄B₁₇+m₁₅B₁₉+m₂₁B₃₁+m₂₂B₃₃+m₂₃B₃₅+m₂₄B₃₇+m₂₅B₃₉+m₃₁B₅₁+m₃₂B₅₃+m₃₃B₅₅+m₃₄B₅₇+m₃₅B₅₉+m₄₁B₇₁    (11)+m₄₂B₇₃+m₄₃B₇₅+m₄₄B₇₇+m₄₅B₇₉+m₅₁B₉₁+m₅₂B₉₃+m₅₃B₉₅+m₅₄b₉₇+m₅₅B₉₉

参考图3，为了计算R_IP，扩展后的M_HF可以相对于像素块44改变以使邻近像素B₅₅的R像素位于扩展后的掩码的中心。例如，扩展后的掩码可以相对于像素块44改变以使R₆₆位于掩码的中心。相应地，R_IP可以定义为：

R_IP＝m₁₁R₂₂+m₁₂R₂₄+m₁₃R₂₆+m₁₄R₂₈+m₁₅R₂₁₀+m₂₁R₄₂+m₂₂R₄₄+m₂₃R₄₆+m₂₄R₄₈+m₂₅R₄₁₀+m₃₁R₆₂+m₃₂R₆₄+m₃₃R₆₆+m₃₄R₆₈+m₃₅R₆₁₀+m₄₁R₈₂    (12)+m₄₂R₈₄+m₄₃R₈₆+m₄₄R₈₈+m₄₅R₈₁₀+m₅₁R₁₀₂+m₅₂R₁₀₄+m₅₃R₁₀₆+m₅₄R₁₀₈+m₅₅R₁₀₁₀

再次参考图3，为了计算G_IP，扩展后的M_HF可以相对于像素块44改变以使邻近像素B₅₅的G像素位于扩展后的掩码的中心。例如，扩展后的掩码可以相对于像素块44改变以使G₅₆位于掩码的中心。为了与扩展后的掩码匹配，必须省略位于选定的两列G像素之间的一列。相应地，G_IP可以定义为：

G_IP＝m₁₁G₁₂+m₁₂G₁₄+m₁₃G₁₆+m₁₄G₁₈+m₁₅G₁₁₀+m₂₁G₃₂+m₂₂G₃₄+m₂₃G₃₆+m₂₄G₃₈+m₂₅G₃₁₀+m₃₁G₅₂+m₃₂G₅₄+m₃₃G₅₆+m₃₄G₅₈+m₃₅G₅₁₀    (13)+m₄₁G₇₂+m₄₂G₇₄+m₄₃G₇₆+m₄₄G₇₈+m₄₅G₇₁₀+m₅₁G₉₂+m₅₂G₉₄+m₅₃G₉₆+m₅₄G₉₈+m₅₅G₉₁₀

另外，等式(7)中的R_IP可以是等式(12)中所示的几个R_IP值的平均值，例如，当像素R₄₄、R₄₆、R₆₄、R₆₆分别位于掩码的中心时的值。在一实施方式中，等式(7)中的R_IP是等式(12)中所示的几个R_IP值的平均值，其高频掩码集中于距离像素B₅₅横向和/或纵向少于10个像素的两个或多个位置。相似地，等式(7)中的G_IP可以是等式(13)中所示的几个G_IP值的平均值，例如，当像素G₄₅、G₅₄、G₅₆、G₆₅分别位于掩码的中心时的值。在一实施方式中，等式(7)中的G_IP是等式(13)中所示的几个G_IP值的平均值，其高频掩码集中于距离像素B₅₅横向和/或纵向少于10个像素的两个或多个位置。在一实施方式中，等式(7)中的B_IP也可以是等式(11)中所示的几个B_IP值的平均值，例如，当像素B₅₅、B₅₃、B₅₇、B₃₅、B₇₅分别位于掩码的中心时的值。在一实施方式中，等式(7)中的B_IP是等式(12)中所示的几个B_IP值的平均值，其高频掩码集中于距离像素B₅₅横向和/或纵向少于10个像素的两个或多个位置。

用这种方式，可以得到B₅₅或者像素42的处理后的色彩强度值，B_final。B_final可选择为规范化。通过调整之后，可以对所有的蓝、红、绿单色图像的所有像素或大部分像素重复相似的处理，以形成处理后的复色图像。

在另一实施方式中，权重因子可以与像素块中相应的单色图像的局部对比度成比例。局部对比度越高，权重因子越大。这样，R、G、B三种单色图像中具有最高局部对比度的一个，将比其它两个具有较低局部对比度的单色图像，对选定像素值的最终处理后的色彩强度值具有更大的贡献(即，等式1)。另一方面，具有较低局部对比度的单色图像具有较小的贡献。结果，最终的三个处理后的图像将具有高的局部对比度。换言之，在处理后的像素块中，如果R、G、B三种单色图像中的一个是清晰的(具有高的局部对比度)，而其它单色图像不清晰(具有低的局部对比度)，像素块中所有的处理后的R、G、B图像最终都是清晰的(具有高的局部对比度)。

例如，权重因子可以定义为：

$w_B=\frac{B_{\mathrm{LC}}}{B_{\mathrm{LC}}+R_{\mathrm{LC}}+G_{\mathrm{LC}}}$

$w_R=\frac{R_{\mathrm{LC}}}{B_{\mathrm{LC}}+R_{\mathrm{LC}}+G_{\mathrm{LC}}}---\left(14\right)$

$w_G=\frac{G_{\mathrm{LC}}}{B_{\mathrm{LC}}+R_{\mathrm{LC}}+G_{\mathrm{LC}}}$

其中LC代表局部对比度。B_LC、R_LC、G_LC分别为B、R、G像素的局部对比度。

例如，像素块中B像素的局部对比度可以如下导出。首先，确定像素块中B像素的色彩强度值的平均M_B值。然后像素块中的B像素被分为两组，Group1和Group2，如下：

$B_{\mathrm{ij}}=\∈\left\{\begin{array}{cc}\mathrm{Group}1,\mathrm{if}& B_{\mathrm{ij}}>M_B\\ \mathrm{Group}1,\mathrm{if}& B_{\mathrm{ij}}\≤M_B\end{array}\right.---\left(15\right)$

图像B的局部对比度可以定义为：

B_LC＝M_B(Group1)-M_B(Group2)                  (16)

其中，M_B(Group1)和M_B(Group2)分别为Group1和Group2中的B像素的色彩强度值的平均值。局部对比度也可以有其它定义。

R_LC和G_LC也可以用同样的方式表示。用这种方式，可以得到B₅₅或者像素42的处理后的色彩强度值，B_final。B_final可任选为归一化的。通过调整之后，可以对所有的蓝、红、绿单色图像的所有像素或大部分像素重复相似的处理，以形成处理后的复色图像。

进一步举例，图4所示为，为了修正像素52的像素块54，其中像素52为R像素。图5所示为，为了修正像素62的像素块64，其中像素62为具有横向相邻的B像素的G像素。图6所示为，为了修正像素72的像素块74，其中像素72为具有横向相邻的R像素的G像素。其处理与上文所给的B像素的实施例相似，每个处理流程可以做相应的调整，例如对于已选定的色彩(即图4所示实施例中的红色、图5和图6所示实施例中的绿色)和对于非选定的原色(即图4所示实施例中的绿色和蓝色、图5和图6所示实施例中的红色和蓝色)。

上述实施方式和/或方法显示了可能的实施方式和/或方法的一些实施例。用于定义权重因子的其它实施方式和/或方法也是可以的。上述方法的一个优点是：不需要知道R、G、B单色图像的相对清晰度，就可以校正所有的R、G、B图像，以提供每种色彩的清晰图像。

虽然在前述的实施例中，已经假定等式(1)中的指数“a”为1，可以理解的是，前述实施例中“a”可为任何等于或者大于1的正实数，例如，a＝1.2、1.5、1.7、2、3.....

如图所示，图7-10显示了基于上述平均梯度算法(等式3-6)处理前和处理后的图像。输入地，检测到的复色图像如图10(A)所示。输入的色彩图像尺寸是1340×1133(分别计算每一种色彩)并且具有256级。如图7(A)所示，从复色图像中得到由蓝色像素形成的蓝色的单色图像。该得到的蓝色图像的尺寸为670×566，并且具有256级。相似地，如图8(A)所示，从复色图像中得到由绿色像素形成的绿色的单色图像。该得到的绿色图像的尺寸为670×566，并且具有256级。应该注意的是有两个绿色的图像，每一个的尺寸都是670×566。如图9(A)所示，从复色图像中得到由红色像素形成的红色的单色图像。该得到的红色图像的尺寸为670×566，并且具有256级。

图7(A)显示了清晰的图像，意味着物体位于或接近于蓝色波长的焦点，图9(A)显示了模糊的图像，意味着物体位于红色波长的焦点之外。图8(A)显示出绿色图像的质量介于蓝色图像和红色图像之间。经过基于平均梯度算法的处理之后，如图7(B)所示，处理后的蓝色图像本质上不变；如图9(B)所示，处理后的红色图像显著改善；如图8(B)所示，处理后的绿色图像也得到改善。然后将处理后的蓝色、绿色、红色图像合并，得到如图10(B)所示的色彩输出或者处理后的复色图像。综上所述，图10(A)所示的模糊的图像得到校正或去模糊化，生成图10(B)所示的清晰的彩色图像。

特征的组合

上述特征以及后面的权利要求可以用不偏离此处范围的多种方式进行组合。下面的实施例披露了一些可能的组合：

(A1)一种处理检测到的复色图像以生成处理后的复色图像的方法，其可包括将检测到的复色图像检测为一组单色图像，每个单色图像包括一组检测到的色彩关于图像中每一系列像素的检测到的色彩强度值。对于检测到的复色图像的每一个给出的像素，该方法可以包括在检测到的复色图像识别一个像素块，该像素块围绕给出的像素。对于一组单色图像的选定的色彩，该组检测到的色彩的其它色彩为非选定的色彩，该方法可包括：(i)从围绕给定像素的像素检测到的色彩强度值，计算每一组检测到的色彩对于给定像素的权重因子系数；(ii)计算对应于每个非选定色彩的原色贡献；(iii)用相应的权重因子系数，分别乘以选定色彩的每个检测到的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；(iv)使加权的色彩贡献相加，以形成选定色彩对于给定像素的处理后的色彩强度值。该方法可以对所有检测到的色彩、及图像中所有的像素的处理后的色彩强度值实施，以形成处理后的复色图像。

(A2)在(A1)的方法中，计算任一组检测到的色彩对给定像素的权重因子系数，可以包括：对于任一组检测到的色彩，提高权重因子的常用指数之幂次的绝对值，该常用指数为正实数，以生成每一个权重因子系数。

(A3)在(A2)的方法中，常用指数(common exponent)可以等于1。

(A4)在(A1)至(A3)任一个的方法中，计算权重因子系数可以包括：在相应的色彩中，在像素块内，计算每一检测到的色彩对给定像素的权重因子为与相应色彩强度值的平均梯度成比例。

(A5)在(A1)至(A3)任一个的方法中，计算权重因子系数可以包括：对于选定色彩计算权重因子为，与高频掩码和集中于给定像素的选定色彩的检测到的色彩强度值的内积的大小成比例。

(A6)在(A1)至(A3)或(A5)任一个的方法中，计算权重因子系数可以包括：分别对于非选定的色彩，计算权重因子为与高频掩码和相应非选定色彩的检测到的色彩强度值的内积的大小成比例，其中相应非选定的色彩集中于相应非选定的色彩最接近给定像素的像素。

(A7)在(A1)至(A3)或(A6)任一个的方法中，计算权重因子系数可以包括：对于选定色彩，计算权重因子为与高频掩码和选定色彩的检测到的色彩强度值的内积的平均值的大小成比例；其中选定色彩集中于一组位置，该位置距离给定像素横向和/或纵向均少于十个像素。

(A8)在(A1)至(A3)、(A5)或(A7)任一个的方法中，计算权重因子系数可以包括：分别对于非选定的色彩计算权重因子为，与高频掩码和分别非选定色彩的检测到的色彩强度值的内积的平均值的大小成比例；其中分别非选定的色彩集中于一组位置，该位置距离给定像素横向和/或纵向均少于十个像素。

(A9)在(A1)至(A3)任一个的方法中，计算权重因子系数可以包括：对相应的色彩计算每一个权重因子，该权重因子与像素块内相应色彩的像素的局部对比度成比例。

(A10)在(A9)的方法中，计算权重因子系数可以包括：计算相应色彩的给出色彩的局部对比度，该局部对比度为第一系列像素的色彩强度值的平均值与第二组像素的色彩强度值的平均值之差，对于相应的色彩，(a)第一组包括位于像素块内的相应色彩的像素，该像素的色彩强度值大于位于像素块内的相应色彩的像素的色彩强度值的平均值，(b)第二组包括位于像素块内的相应色彩的像素，该像素的色彩强度值小于或等于位于像素块内的相应色彩的像素的色彩强度值的平均值。

(A11)在(A1)至(A10)任一个的方法中，计算对应于每一非选定的色彩的原色贡献可以包括：(a)对于每一个非选定的色彩，在给定像素位置的强度值插值，以形成位于该位置的每一个非选定色彩的强度值插值；(b)对每个非选定的色彩关于选定的色彩，计算相应选定色彩的差项；(c)对于每个非选定色彩的相应选定色彩的差项与每个非选定色相应的强度值插值相加，以得到对应于每个非选定色彩的原色贡献。

(A12)在(A11)的方法中，对每个非选定的色彩关于选定色彩计算相应的选定色彩差项可以包括：计算每个分别选定的色彩差项为(1)像素块中选定色彩的检测到的色彩强度值的平均值，与(2)像素块中每个分别非选定色彩的检测到的色彩强度值的平均值，二者之差。

实施串色图像处理的设备可以实施(A1)至(A12)的任何方法。

在不脱离本发明的范围的前提下，可以对上述方法和系统做出许多改变。应该注意的是，上面的描述包括的内容或者相关附图显示的内容只应作为说明性的解释，而不应限制本发明。后面的权利要求的目的是覆盖这里描述的所有的通用的或特定的特征，以及本方法或系统的范围的所有陈述，该陈述落入权利要求的范围之内。

Claims (14)

1.一种处理检测到的复色图像以形成处理后的复色图像的方法，其包括：

将检测的复色图像检测为一组单色图像，每一单色图像包括该图像一系列像素中每一像素的一组检测的色彩之一的色彩强度值；以及

针对检测的复色图像中的每一给定像素：

识别检测的复色图像中围绕所述给定像素的像素块；以及

对于该组单色图像的选定色彩，该组检测的色彩中的其它色彩则作为非选定色彩：

从围绕所述给定像素的各像素所检测的色彩强度值，计算出所述给定像素的该组检测的色彩的每一权重因子系数；

计算对应于每一非选定色彩的原色贡献；

用相应的权重因子系数，分别乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；以及

对加权的色彩贡献进行加和，以形成所述给定像素的选定色彩的处理后的色彩强度值；

其中，该图像中该系列像素的所有像素的所有检测的色彩的处理后的色彩强度值，形成所述处理后的复色图像；

其中，计算对应于每一非选定色彩的原色贡献包括：

对于每一非选定色彩，在给定像素位置对强度值进行插值，以形成该位置的每一非选定色彩的强度值插值；

对于每一非选定色彩，针对选定的色彩，计算其相应的选定色彩的差项；以及

对于每一非选定色彩，将其相应的选定色彩的差项与每一非选定色彩相应的强度值插值进行相加，以得到对应于每一非选定色彩的原色贡献。

2.如权利要求1所述的方法，其中，计算所述给定像素的关于每一检测的色彩的权重因子系数包括：为每一检测的色彩提高其权重因子的绝对值，使得常用指数的幂次为等于1或大于1的正实数，以形成每一权重因子系数。

3.如权利要求2所述的方法，其中，计算权重因子系数包括：分别计算所述给定像素的每一检测的色彩的权重因子，在所述像素块中，其与相应色彩的色彩强度值的相应平均梯度成比例。

4.如权利要求2所述的方法，其中，计算权重因子系数包括：对于选定色彩，计算其权重因子，该权重因子与高频掩码和选定色彩的检测的色彩强度值的内积的大小成比例，其中，选定色彩以给定像素为中心。

5.如权利要求2所述的方法，其中，计算权重因子系数包括：对于相应的非选定色彩，计算其权重因子，该权重因子与高频掩码和相应的非选定色彩的检测的色彩强度值的内积的大小成比例，其中，相应的非选定色彩以最接近给定像素的相应非选定色彩的像素为中心。

6.如权利要求2所述的方法，其中，计算权重因子系数包括：对于选定色彩，计算其权重因子为，该权重因子与高频掩码和选定色彩的检测的色彩强度值的内积的平均值大小成比例，其中，选定色彩集中于一组位置，该组位置距离给定像素横向和/或纵向均少于十个像素。

7.如权利要求2所述的方法，其中，计算权重因子系数包括：对于相应的非选定色彩，计算其权重因子，该权重因子与高频掩码和相应非选定色彩的检测的色彩强度值的内积的平均值大小成比例，其中，相应的非选定色彩集中于一组位置，该组位置距离给定像素横向和/或纵向均少于十个像素。

8.如权利要求2所述的方法，其中，计算权重因子系数包括：对于各相应色彩，计算其权重因子，该权重因子与位于像素块内各相应色彩的像素的局部对比度成比例。

9.如权利要求8所述的方法，其中，计算权重因子系数包括：计算各相应色彩的给定色彩的局部对比度，该局部对比度为相应色彩的第一组像素的色彩强度值的平均值与第二组像素的色彩强度值的平均值之差，

第一组包括位于像素块内的相应色彩的像素，其色彩强度值大于位于像素块内的相应色彩的像素的色彩强度值的平均值，

第二组包括位于像素块内的相应色彩的像素，其色彩强度值小于或等于位于像素块内的相应色彩的像素的色彩强度值的平均值。

10.如权利要求2所述的方法，其中，常用指数等于1。

11.如权利要求1所述的方法，其中，对于每一非选定色彩，针对选定的色彩，计算其相应的选定色彩的差项，包括:

计算每一相应的选定色彩的差项，其为像素块中选定色彩之检测的色彩强度值的平均值、与像素块中每一相应的非选定色彩之检测的色彩强度值的平均值的差。

12.一种处理检测的复色图像的像素之检测的色彩强度值、以形成处理后的复色图像的方法，其中，检测的复色图像包括一组单色图像，每一单色图像包括该图像一系列像素中每一像素的一组检测的色彩之一的色彩强度值；该方法包括：

对于检测的复色图像的每一给定像素：

识别检测的复色图像中围绕给定像素的像素块；以及

对于该组单色图像的选定色彩，该组检测的色彩的其它色彩则作为非选定色彩；

从围绕给定像素的各像素所检测的色彩强度值，计算出给定像素的该组检测的色彩的每一色彩的权重因子系数；

计算对应于每一非选定色彩的原色贡献；

用相应的权重因子系数，分别乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；以及

对加权的色彩贡献进行加和，以形成给定像素的选定色彩的处理后的色彩强度值；

其中，该图像中该系列像素的所有像素的所有检测的色彩的处理后的色彩强度值，形成所述处理后的复色图像；

其中，计算对应于每一非选定色彩的原色贡献包括：

对于每一非选定色彩，在给定像素位置对强度值进行插值，以形成该位置的每一非选定色彩的强度值插值；

对于每一非选定色彩，针对选定的色彩，计算其相应的选定色彩的差项；以及

对于每一非选定色彩，将其相应的选定色彩的差项与每一非选定色彩相应的强度值插值进行相加，以得到对应于每一非选定色彩的原色贡献。

13.一种成像装置，其包括：光学成像元件、图像传感器和图像处理器；其中，

光学成像元件在图像传感器上形成物体的图像；

图像传感器包括一系列检测元件，每一检测元件对第一色彩、第二色彩、第三色彩中的一个色彩敏感；每一检测元件检测相应色彩的光强，并提供检测到的色彩强度值作为响应；对于给定的色彩，所有检测元件的检测到的色彩强度值，形成相应色彩的单色图像；第一色彩、第二色彩、第三色彩的单色图像形成检测到的复色图像；

图像处理器通过如下的步骤进行处理，并形成处理后的复色图像：

识别检测的复色图像中围绕给定像素的像素块；以及

对于单色图像的选定色彩，检测到的色彩的其它色彩则作为非选定色彩：

从围绕给定像素的各像素所检测的色彩强度值，计算出给定像素的一组检测的色彩的每一色彩的权重因子系数；

计算对应于每一非选定色彩的原色贡献；

用相应的权重因子系数，分别乘以选定色彩的每一检测的色彩强度值和对应于非选定色彩的原色贡献，以形成加权的色彩贡献；以及

对加权的色彩贡献进行加和，以形成给定像素的选定色彩的处理后的色彩强度值；

其中，该图像中一系列像素的所有像素的所有检测的色彩的处理后的色彩强度值，形成所述处理后的复色图像；

其中，计算对应于每一非选定色彩的原色贡献包括：

对于每一非选定色彩，在给定像素位置对强度值进行插值，以形成该位置的每一非选定色彩的强度值插值；

对于每一非选定色彩，针对选定的色彩，计算其相应的选定色彩的差项；以及

对于每一非选定色彩，将其相应的选定色彩的差项与每一非选定色彩相应的强度值插值进行相加，以得到对应于每一非选定色彩的原色贡献。

14.如权利要求13所述的装置，其中，所述的光学成像元件具有色差。