CN101557532A - 图案内插装置及方法 - Google Patents

Abstract

一种图案内插(pattern interpolation)装置及方法。首先，根据一图案彩色滤波器的像素，用以产生水平内插绿色、红色、蓝色像素值，及垂直内插绿色、红色、蓝色像素值。接着，根据水平及垂直内插像素值，选择绿色值的内插方向。

Description

图案内插装置及方法

技术领域

本发明涉及内插方法(interpolation)，并且特别涉及贝尔图案(Bayerpattern)内插法。

背景技术

彩色影像的每一个像素可以使用含三颜色成分的向量来表示，例如使用可见光谱中的红、绿、蓝波段的光强度。为了降低尺寸大小及成本，在一般影像装置中，针对每一个像素仅使用一个光滤波单元以撷取单一的色彩(chromatic)值。接着，再根据邻近相同颜色的像素值以内插方法来得到其他的色彩值。图1所示的贝尔(Bayer)图案(或马赛克式)彩色滤波阵列是经常被使用的。贝尔图案的设计原理为根据人眼对于绿色的感光度较高于红色及蓝色。在贝尔图案中，绿色像素的数量相等于红色及蓝色像素的总和。针对影像的贝尔图案施以内插以得到每个像素的三个颜色成分，此方法称为贝尔图案内插法或解码赛克法(demosaicing)。

即使贝尔图案内插法在影像处理领域被普遍使用，然而其具有一些缺点，例如色彩混迭(aliasing)现象造成高频细节的消失，甚至产生新频率而严重破坏影像。

因此亟需提出一种有效方法，使得贝尔图案内插可以显著地降低色彩混迭(aliasing)现象。

发明内容

鉴于上述，本发明的发明目的之一为提供一种图案内插(patterninterpolation)的有效方法，例如贝尔图案(Bayer pattern)内插法，用以显著地降低色彩混迭现象，并提升影像品质，特别是位于其边缘(edge)处及影像的细节。再者，本发明所需的计算量较传统内插法来得少。

根据本发明实施例，首先，根据一图案彩色滤波器的像素，用以产生水平内插绿色、红色、蓝色像素值，及垂直内插绿色、红色、蓝色像素值。接着，根据水平及垂直内插像素值，选择绿色值的内插方向。以被选择的内插绿色值来更新红色及蓝色像素值。

附图说明

图1显示贝尔(Bayer)图案(或马赛克式)彩色滤波阵列。

图2显示本发明实施例之一的图案内插装置。

图3显示本发明实施例的图案内插方法的流程。

图4例示简化的贝尔图案像素。

【主要元件符号说明】

200         图案内插装置

20          贝尔图案

21          绿色水平内插装置

22          绿色垂直内插装置

23A         红色&蓝色内插

23B         红色&蓝色内插

24A、24B    RGB-至-YIQ转换

25          检测器

26          方向选择器

27          更新红色&蓝色内插值

300         图案内插方法

30-35       图案内插方法的流程步骤

具体实施方式

图2显示本发明实施例之一的图案内插(pattern interpolation)装置200，而图3则显示本发明实施例的图案内插方法300的流程。在本实施例中，装置200及方法300用以提升经内插的贝尔(Bayer)图案(或马赛克式)彩色滤波阵列(以下简称为贝尔图案)的影像品质。虽然在本实施例中例示了贝尔图案的内插，然而本发明实施例也可以直接或经修改后适用于其他彩色滤波阵列的内插。本实施例使用8位来表示亮度值，因此总共有256灰阶(亦即，0至255)。然而，也可根据特定系统设计需求而使用其他的位数。

在本实施例中，先进行绿色的水平内插(步骤30，图3)。绿色水平内插装置(21，图2)针对所接收到的贝尔图案20(如图4所示)，于红色或蓝色像素位置进行绿色值的水平内插。亦即，使用水平方向的相邻绿色像素来内插得到某一像素。在本实施例中使用二元(bilinear)内插方法，然而也可以使用其他内插方法。底下显示水平内插的一个例子。

于红色像素位置(2，2)作绿色水平内插：

$G_{\mathrm{2,2}}^H=(G_{\mathrm{2,1}}+G_{\mathrm{2,3}})/2.$

接着，在方块23A(图2)及步骤32A(图3)中，于绿色像素位置(2，3)针对红色与绿色的差值进行二元内插以得到红色值：

$R_{\mathrm{2,3}}^H=(R_{\mathrm{2,2}}+R_{\mathrm{2,4}})/2+G_{\mathrm{2,3}}-\frac{1}{2}{G}_{\mathrm{2,2}}^H-\frac{1}{2}{G}_{\mathrm{2,4}}^H.$

依同样原理，于绿色像素位置(3，2)内插得到红色值：

$R_{3,2}^H=(R_{\mathrm{2,2}}+R_{4,2})/2+G_{3,2}-\frac{1}{2}{G}_{\mathrm{2,2}}^H-\frac{1}{2}{G}_{4,2}^H.$

于蓝色像素位置(3，3)内插得到红色值：

$R_{\mathrm{3,3}}^H=(R_{\mathrm{2,2}}+R_{\mathrm{2,4}}+R_{\mathrm{4,2}}+R_{\mathrm{4,4}})/4+G_{\mathrm{3,3}}^H-\frac{1}{4}{G}_{\mathrm{2,2}}^H-\frac{1}{4}{G}_{\mathrm{2,4}}^H-\frac{1}{4}{G}_{\mathrm{4,2}}^H-\frac{1}{4}{G}_{\mathrm{4,4}}^H.$

上述例子使用经水平内插所得的绿色值来产生红色值。使用类似的运算，也可以藉由使用经水平内插所得的绿色值来产生蓝色值。

使用与水平内插相同的原理，于步骤31(图3)中进行绿色值的垂直内插。上述的水平内插(步骤30)与垂直内插(步骤31)的进行顺序可加以改变，甚至同时进行。于垂直内插步骤31中，绿色垂直内插装置(22，图2)针对所接收到的贝尔图案20，于红色或蓝色像素位置进行绿色值的垂直内插。亦即，使用垂直方向的相邻绿色像素来内插得到某一像素。底下显示垂直内插的一个例子。

于红色像素位置(2，2)作绿色垂直内插：

$G_{\mathrm{2,2}}^V=(G_{\mathrm{1,2}}+G_{\mathrm{3,2}})/2.$

接着，在方块23B(图2)及步骤32B(图3)中，于绿色像素位置(2，3)针对红色与绿色的差值进行二元内插以得到红色值：

$R_{\mathrm{2,3}}^V=(R_{\mathrm{2,2}}+R_{\mathrm{2,4}})/2+G_{\mathrm{2,3}}-\frac{1}{2}{G}_{\mathrm{2,2}}^V-\frac{1}{2}{G}_{\mathrm{2,4}}^V.$

依同样原理，于绿色像素位置(3，2)内插得到红色值：

$R_{3,2}^V=(R_{\mathrm{2,2}}+R_{4,2})/2+G_{3,2}-\frac{1}{2}{G}_{\mathrm{2,2}}^V-\frac{1}{2}{G}_{\mathrm{4,2}}^V.$

于蓝色像素位置(3，3)内插得到红色值：

$R_{\mathrm{3,3}}^V=(R_{\mathrm{2,2}}+R_{\mathrm{2,4}}+R_{\mathrm{4,2}}+R_{\mathrm{4,4}})/4+G_{\mathrm{3,3}}^V-\frac{1}{4}{G}_{\mathrm{2,2}}^V-\frac{1}{4}{G}_{\mathrm{2,4}}^V-\frac{1}{4}{G}_{\mathrm{4,2}}^V-\frac{1}{4}{G}_{\mathrm{4,4}}^V.$

上述例子使用经垂直内插所得的绿色值来产生红色值。使用类似的运算，也可以藉由使用经垂直内插所得的绿色值来产生蓝色值。

在得到水平内插像素值G^H、R^H、B^H及垂直内插像素值G^V、R^V、B^V之后，使用RGB-至-YIQ转换器24A/24B将这些像素值转换为YIQ或其他适当的色彩空间(color space)(步骤33A/33B)。值得注意的是，所转换的色彩空间并不限定于YIQ；甚至，在某些应用中，也可以省略色彩空间的转换。在本实施例中，内插的R、G、B像素值转换为8位的I(亦即，同相(in phase))值可表示如下：

$I_{i,j}^H=0.596*R_{i,j}^H-0.2755*G_{i,j}^H-0.321*B_{i,j}^H.$

其中，I_i，j ^H代表(i，j)位置的水平内插R、G、B像素值经运算所得到的水平I值。

$I_{i,j}^V=0.596*R_{i,j}^V-0.2755*G_{i,j}^V-0.321*B_{i,j}^V.$

其中，I_i，jV代表(i，j)位置的垂直内插R、G、B像素值经运算所得到的垂直I值。

接下来，根据这些水平及垂直I值，使用边缘(edge)检测器25及方向选择器26来检测边缘及选择G(绿色)内插方向(步骤34)。例如，位于红色像素位置(2，2)的检测及选择可以表示(但不限定于)如下：

$|I_{\mathrm{2,2}}^H-I_{\mathrm{2,1}}^H|+|I_{\mathrm{2,2}}^H-I_{\mathrm{2,3}}^H|+\mathrm{Threshold}<|I_{\mathrm{2,2}}^V-I_{\mathrm{1,2}}^V|+|I_{\mathrm{2,2}}^V-I_{\mathrm{3,2}}^V|$ (1a)

If

$G_{\mathrm{2,2}}=G_{\mathrm{2,2}}^H$ (1b)

$|I_{\mathrm{2,2}}^H-I_{\mathrm{2,1}}^H|+|I_{\mathrm{2,2}}^H-I_{\mathrm{2,3}}^H|>|I_{\mathrm{2,2}}^V-I_{\mathrm{1,2}}^V|+|I_{\mathrm{2,2}}^V-I_{\mathrm{3,2}}^V|+\mathrm{Threshold}$ 1c

If

$G_{\mathrm{2,2}}=G_{\mathrm{2,2}}^V$ (1d)

Else $G_{\mathrm{2,2}}=(G_{\mathrm{2,2}}^H+G_{\mathrm{2,2}}^V)/2$ (1e)。

当条件(1a)符合时，亦即，水平方向的像素值差异小于垂直方向的像素值差异且达到至少一临界值(threshold)，则选择水平方向作为G内插方向，表示此时的边缘位于水平方向。此时，则以内插绿色值G_2，2 ^H来取代作为位置(2，2)的绿色像素值(1b)。当条件(1c)符合时，亦即，垂直方向的像素值差异小于水平方向的像素值差异且达到至少一临界值(threshold)，则选择垂直方向作为G内插方向，表示此时的边缘位于垂直方向。此时，则以内插绿色值G_2，2 ^V来取代作为位置(2，2)的绿色像素值(1d)。假如条件(1a)及(1c)皆不符合，则以G_2，2 ^H和G_2，2 ^V的平均值来取代作为位置(2，2)的绿色像素值(1e)。

上述(1a)至(1e)例示红色像素位置的检测与选择；依相同原理，可针对蓝色像素位置作类似的检测与选择。

最后，使用位于红色或蓝色像素位置的选择G(绿色)像素值(亦即，G^H或G^V)以更新(update)这些位置的红色或蓝色内插值(方块27及步骤35)。例如，位于绿色像素位置(2，3)的内插红色值经更新为如下所示：

$R_{\mathrm{2,3}}^{\mathrm{update}}=(R_{\mathrm{2,2}}+R_{\mathrm{2,4}})/2+G_{\mathrm{2,3}}-\frac{1}{2}{G}_{\mathrm{2,2}}^{\mathrm{HorV}}-\frac{1}{2}{G}_{\mathrm{2,4}}^{\mathrm{HorV}}.$

其中，在水平方向被选择时，G_2，2 ^H or V为G_2，2 ^H(1b)；在垂直方向被选择时，G_2，2 ^H or V为G_2，2 ^V(1d)；在两种方向皆未被选择时，G_2，2 ^H or V为G_2，2(1e)。

鉴于上面所述，本发明实施例提供一种图案内插的有效方法，例如贝尔图案内插法，用以显著地降低色彩混迭现象，并提升影像品质，特别是位于其边缘(edge)处及影像的细节。再者，本发明所需的计算量较传统内插法来得少。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的保护范围；凡其它未脱离发明所披露的精神下所完成的等效改变或修饰，均应包含在所附的权利要求书的范围内。

Claims (16)

1、一种图案内插装置，包含：

一内插装置，其根据一图案彩色滤波器的像素，用以产生水平内插绿色像素值，并据以产生红色及蓝色像素值；以及产生垂直内插绿色像素值，并据以产生红色及蓝色像素值；及

一方向选择器，其根据该水平及垂直内插像素值，选择绿色值的内插方向。

2、如权利要求1所述的图案内插装置，其中上述图案彩色滤波器为贝尔图案。

3、如权利要求1所述的图案内插装置，还包含一色彩空间转换器，用以将该水平及垂直内插像素值自第一色彩空间转换至第二色彩空间。

4、如权利要求3所述的图案内插装置，其中上述第一色彩空间为RGB色彩空间，而该第二色彩空间为YIQ色彩空间。

5、如权利要求4所述的图案内插装置，其中上述方向选择器根据该YIQ色彩空间中的I值以选择绿色值的内插方向。

6、如权利要求3所述的图案内插装置，其中上述方向选择器根据该第二色彩空间中的水平及垂直内插像素值以选择绿色值的内插方向。

7、如权利要求6所述的图案内插装置，还包含一边缘检测器，其根据该第二色彩空间中的水平及垂直内插像素值以检测出边缘，而该方向选择器则根据该检测边缘以选择绿色值的内插方向。

8、如权利要求1所述的图案内插装置，其中上述红色及蓝色像素值根据该选择的内插绿色值而进行更新。

9、一种图案内插方法，包含：

根据一图案彩色滤波器的像素，用以产生水平内插绿色像素值，并据以产生红色及蓝色像素值；以及产生垂直内插绿色像素值，并据以产生红色及蓝色像素值；及

根据该水平及垂直内插像素值，选择绿色值的内插方向。

10、如权利要求9所述的图案内插方法，其中上述的图案彩色滤波器为贝尔图案。

11、如权利要求9所述的图案内插方法，还包含一步骤，用以将该水平及垂直内插像素值自第一色彩空间转换至第二色彩空间。

12、如权利要求11所述的图案内插方法，其中上述第一色彩空间为RGB色彩空间，而该第二色彩空间为YIQ色彩空间。

13、如权利要求12所述的图案内插方法，其中上述方向选择步骤是根据该YIQ色彩空间中的I值以选择绿色值的内插方向。

14、如权利要求11所述的图案内插方法，其中上述方向选择步骤是根据该第二色彩空间中的水平及垂直内插像素值以选择绿色值的内插方向。

15、如权利要求14所述的图案内插方法，还包含一步骤，其根据该第二色彩空间中的水平及垂直内插像素值以检测出边缘，而该方向选择步骤则是根据该检测边缘以选择绿色值的内插方向。

16、如权利要求9所述的图案内插方法，其中上述红色及蓝色像素值根据该选择的内插绿色值而进行更新。

Images