CN102857765B - 彩色内插系统及方法 - Google Patents

Abstract

一种彩色内插系统及方法。增强单元自图像传感器接收多个原始信号，并处理所述原始信号以输出增强第一信号。第一内插单元接收并处理原始第一信号，据以输出内插第一信号。增益产生器根据增强第一信号及内插第一信号以产生增强增益。

Description

彩色内插系统及方法

技术领域

本发明涉及一种数字图像处理方法，特别是涉及一种彩色内插系统及方法。

背景技术

图像传感器通常会结合使用具有拜尔图样（Bayer pattern）的彩色滤光阵列（color filter array,CFA），因此，撷取自图像传感器的原始图像数据必须经过内插（demosaicing）以重建完整彩色图像。

图像增强（image enhancement）经常使用于数字图像处理中，用以增强一或多个图像参数，例如对比、锐利度等。图像增强的执行可根据边缘检测结果或梯度（gradient）。

于传统成像系统中，撷取自图像传感器的原始图像数据首先经内插运算，接着进行图像增强处理。传统成像系统的缺点之一在于红色数据与蓝色数据的取样率远低于绿色的取样率，使得成像系统产生低锐利度的失真图像。

鉴于上述理由，因此亟需提出一种新颖的成像系统，以增进图像质量。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种彩色内插系统及方法，其可同时执行内插及增强，并具有改善的锐利度。根据本发明的第一方面，提供了一种彩色内插系统，包含：增强单元，自图像传感器接收多个原始信号，其中所述多个原始信号包含至少一原始第一信号及一原始第二信号，且所述增强单元处理所述原始信号以输出增强第一信号；第一内插单元，接收并处理所述原始第一信号，据以输出内插第一信号；增益产生器，根据所述增强第一信号及所述内插第一信号以产生增强增益，及增益乘法器，其将所述内插第一信号及所述原始第二信号分别乘以所述增强增益。

根据本发明的第二方面，提供了一种彩色内插方法，包含：自图像传感器接收多个原始信号，其中所述多个原始信号包含至少一原始第一信号及一原始第二信号，其经处理后输出增强第一信号；处理所述原始第一信号，以输出内插第一信号；根据所述增强第一信号及所述内插第一信号以产生增强增益，及将所述内插第一信号及所述原始第二信号分别乘以所述增强增益。

附图说明

图1A显示本发明实施例的彩色内插系统的框图；

图1B显示图1A的变化型实施例的彩色内插系统的框图；

图2显示图像像素的处理窗口，其中原始蓝色信号位于中央；

图3显示图像像素的另一处理窗口，其中原始绿色信号位于中央，且其左右具有原始蓝色信号；

图4A显示本发明另一实施例的彩色内插系统的框图；

图4B显示图4A的变化型实施例的彩色内插系统的框图。

具体实施方式

图1A显示本发明实施例的彩色内插系统1A的框图。彩色内插系统1A的每一框的实施可使用硬件、软件或其组合。

在本实施例中，彩色内插系统1A接收原始绿色信号G_raw、原始红色信号R_raw及原始蓝色信号B_raw。这些信号使用原始格式，并输出自图像传感器（未显示于附图中），该图像传感器结合使用具有拜尔图样（Bayerpattern）的彩色滤光阵列（CFA），但也可使用其它图样，例如红/绿/蓝（RGB）图样或青绿/品红/黄（CMY）图样。具有拜尔图样的彩色滤光阵列具有多个彩色滤光片，其中的50%为绿色，25%为红色，另外的25%为蓝色。一般来说，于拜尔图样或其它图样中，绿色成分多于红色成分或蓝色成分。在本说明书中，绿色信号、红色信号及蓝色信号也可分别称为第一信号、第二信号及第三信号。

图2显示图像像素（原始蓝色信号B_raw位于中央）的处理窗口，其构成图像传感器的一部分。增强单元10（图1A）接收并处理原始信号G_raw、R_raw和B_raw，用以输出增强绿色信号G22_en，其位于处理窗口的中央。增强单元10的增强处理可藉由增强屏蔽（enhancing mask）来进行，其一般可为高频增强滤波器（high-boos tfilter），可表示如下：

G22_en=W01×P01+W03×P03+W10×P10+W12×P12+W14×P14+W21×P21+W23×P23+W30×P30+W32×P32+W34×P34+W41×P41+W43×P43;

//W01–W43:增强屏蔽的系数。

第一内插单元11接收并处理原始绿色信号G_raw，用以输出内插绿色信号G22_sm，其位于处理窗口的中央。第一内插单元11可使用传统内插技术，例如双线性（bi-linear）内插、双立方（bi-cubic）内插、曲线（spline）内插或其它内插技术。

类似的情形，第二内插单元12接收并处理原始红色信号R_raw，用以输出内插红色信号R22_sm，其位于处理窗口的中央。第二内插单元12可使用传统内插技术，例如双线性内插、双立方内插、曲线内插或其它内插技术。

类似的情形，第三内插单元13接收并处理原始蓝色信号B_raw，用以输出内插蓝色信号B22_sm，其位于处理窗口的中央。第三内插单元13可使用传统内插技术，例如双线性内插、双立方内插、曲线内插或其它内插技术。

在一实施例中，还可使用混合器14，根据增强绿色信号G22_en及内插绿色信号G22_sm，以产生加权增强绿色信号WG22。其中，混合器14分配权重予增强绿色信号G22_en及内插绿色信号G22_sm。加权增强绿色信号WG22可表示如下：

WG22=(G22_en×weight+G22_sm×(1-weight));

//weight:增强屏蔽的权重，其值不大于1且不小于0。

上述的表示式针对原始蓝色信号B_raw位于处理窗口中央的情形。当原始红色信号R_raw位于处理窗口中央时，也可得到类似的表示式。

图3显示图像像素的另一处理窗口，其中原始绿色信号G_raw位于中央，且其左右具有原始蓝色信号B_raw。

对于此处理窗口，增强绿色信号G22_en及加权增强绿色信号WG22可表示如下：

G22_en=W00×P00+W02×P02+W04×P04+W11×P11+W13×P13+W20×P20+W22×P22+W24×P24+W31×P31+W33×P33+W40×P40+W42×P42+W44×P44;

//W00–W44:增强屏蔽的权重

WG22=(G22_en×weight+G22_sm×(1-weight));

//weight:增强屏蔽的权重，其值不大于1且不小于。

上述的表示式针对原始绿色信号G_raw位于处理窗口中央且其左右具有原始蓝色信号B_raw的情形。当原始绿色信号G_raw位于处理窗口中央且其左右具有原始红色信号R_raw时，也可得到类似的表示式。

增强绿色信号G22_en（若使用混合器14则为加权增强绿色信号WG22）以及内插绿色信号G22_sm被馈至增益产生器16，其根据增强绿色信号G22_en（若使用混合器14则为加权增强绿色信号WG22）以及内插绿色信号G22_sm以产生增强增益D。在一例子中，增强增益D的产生是根据加权增强绿色信号WG22及内插绿色信号G22_sm的差值。在另一例子中，增强增益D的产生是根据加权增强绿色信号WG22及内插绿色信号G22_sm的比值。

在一实施例中，如果加权增强绿色信号WG22及内插绿色信号G22_sm的绝对差值不大于预设噪声临界值，则增强增益D的值为“1”。否则，根据加权增强绿色信号WG22及内插绿色信号G22_sm的差值以决定增强增益D的值，其可受一默认值所调整。

最后，增益乘法器17将内插绿色信号G22_sm、内插红色信号R22_sm及内插蓝色信号B22_sm分别与增强增益D相乘，以得到增强内插绿色信号G22’、增强内插红色信号R22’及增强内插蓝色信号B22’，如下所示：

G22’=G22_sm×D;

R22’=R22_sm×D;

B22’=B22_sm×D。

图1B显示图1A的变化型实施例的彩色内插系统1B的框图。图1B的彩色内插系统1B类似于图1A的彩色内插系统1A，不同之处说明如下。于本实施例中，仅原始绿色信号G_raw受到内插单元（亦即，第一内插单元11）的处理。增益乘法器17将内插绿色信号G22_sm、原始红色信号R_raw及原始蓝色信号B_raw分别与增强增益D相乘。

图4A显示本发明另一实施例的彩色内插系统4A的框图。彩色内插系统4A的每一框的实施可使用硬件、软件或其组合。

图4A的彩色内插系统4A类似于图1A的彩色内插系统1A，不同之处说明如下。在本实施例中，第一内插单元11B接收并处理原始绿色信号G_raw，用以输出内插绿色信号G11-G33（例如3x3像素），构成了处理次窗口（其为处理窗口的一部分），位于处理窗口的中央，如图2所示。举例而言，内插绿色信号G11-G33可表示如下：

G11=f(P01,P10,P21,P12);

G12=f(P01,P03,P21,P23,P12);

G13=f(P03,P12,P14,P23);

G21=f(P10,P12,P30,P32,P21);

G22=f(P12,P21,P23,P32);

G23=f(P14,P12,P34,P32,P23);

G31=f(P21,P30,P41,P32);

G32=f(P21,P23,P41,P43,P32);

G33=f(P23,P32,P34,P43);

G22=G22;//输出绿色像素。

混合器14B分配权重予增强绿色信号G22_en及内插绿色信号G22。加权增强绿色信号WG22可表示如下：

WG22=(G22_en×alpha+G22×(1-alpha));

//0=<alpha<=1。

在本实施例中，增益产生器16可对加权增强绿色信号WG22及内插绿色信号（例如G11-G33，但除G22外）执行低通滤波（LPF），因而产生内插绿色信号G22_sm。

类似于图1A的彩色内插系统1A，加权增强绿色信号WG22以及内插绿色信号G22被馈至增益产生器16，其根据加权增强绿色信号WG22以及内插绿色信号G22的差值或比值以产生增强增益D。增益乘法器17将内插绿色信号G22_sm、内插红色信号R22_sm及内插蓝色信号B22_sm分别与增强增益D相乘。

上述是针对原始蓝色信号B_raw位于处理窗口中央的情形（图2）。当原始红色信号R_raw位于处理窗口中央时，也可得到类似的结果。

图4B显示图4A的变化型实施例的彩色内插系统4B的框图。图4B的彩色内插系统4B类似于图4A的彩色内插系统4A，不同之处说明如下。于本实施例中，仅原始绿色信号G_raw受到内插单元（亦即，第一内插单元11B）的处理。增益乘法器17将内插绿色信号G22_sm、原始红色信号R_raw及原始蓝色信号B_raw分别与增强增益D相乘。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述的权利要求范围内。

Claims (8)

1.一种彩色内插系统，包含：

增强单元，自图像传感器接收多个原始信号，其中所述多个原始信号包含至少一原始第一信号及一原始第二信号，且所述增强单元处理所述原始信号以输出增强第一信号；

第一内插单元，接收并处理所述原始第一信号，据以输出内插第一信号；

增益产生器，根据所述增强第一信号及所述内插第一信号以产生增强增益，及

增益乘法器，其将所述内插第一信号及所述原始第二信号分别乘以所述增强增益。

2.如权利要求1所述的彩色内插系统，还包含第二内插单元，接收并处理所述原始第二信号，据以输出内插第二信号。

3.如权利要求1所述的彩色内插系统，其中所述增强单元包含增强屏蔽，作为高频增强滤波器。

4.如权利要求1所述的彩色内插系统，其中所述增强单元及所述第一内插单元执行于处理窗口，其包含所述图像传感器的多个图像像素。

5.如权利要求4所述的彩色内插系统，其中所述图像像素的处理窗口具有拜尔图样。

6.如权利要求1所述的彩色内插系统，还包含混合器，位于所述增强单元与所述增益产生器之间，其中所述混合器分配权重予所述增强第一信号及所述内插第一信号。

7.一种彩色内插方法，包含：

自图像传感器接收多个原始信号，其中所述多个原始信号包含至少一原始第一信号及一原始第二信号，其经处理后输出增强第一信号；

处理所述原始第一信号，以输出内插第一信号；

根据所述增强第一信号及所述内插第一信号以产生增强增益，及

将所述内插第一信号及所述原始第二信号分别乘以所述增强增益。

8.如权利要求7所述的彩色内插方法，还包含如下步骤：处理所述原始第二信号，以输出内插第二信号。