CN100521800C - 颜色插值方法 - Google Patents

Abstract

提供一种用于在数字系统中插值像素颜色的方法，该方法包括获取具有第一级相似性的第一颜色的至少两个像素，其中该至少两个像素邻接待复原的第一像素；计算用于该第一颜色的该两个像素的平均值；复原用于第一颜色的该至少两个像素的值；以及通过使用亮度梯度的插值方法复原与用于该至少两个像素的第二颜色相关联的值。

Description

颜色插值方法

技术领域

本发明涉及颜色插值，特别涉及在Bayer模式颜色滤镜中的颜色插值。

背景技术

通常，如数码照相机或数码摄像机之类的数字影像设备使用电荷耦合器件(CCD)，为了获得全色图像，其使用用于各像素的不同信息。为了显示人眼可视的图像，需要至少三种类型的颜色数据。全色图像可根据三个独立颜色R、G和B的像素值来表现。

CCD是影像设备，用于把光学信号转换成电信号。CCD可以是单芯片类型或多芯片类型。在多芯片类型中，每个像素通过使用三个芯片来接收三种颜色，这三个芯片分别具有对三种颜色(R、G和B)有反应的传感器。在单芯片类型中，每个像素只接收一种颜色，并且颜色滤镜阵列(CFA)具有对每种颜色有反应的传感器。CFA最常见的模式是Bayer模式。

在多芯片类型的情况下，构成一个屏幕画面的每种颜色具有整个屏幕画面的信息。因此，可通过使用这些颜色来重构整个屏幕画面。但是，在图1所示的单芯片的情况下，对每个像素设置有不同的传感器以接收不同颜色，即便是用于接收三种颜色的传感器位于一个芯片上。因此，在三种颜色中，每个像素只有一种颜色信息。

例如，在B像素或R像素没有绿色检测传感器来复原绿色颜色值(G值)的情况下，通过使用相邻像素的绿色检测传感器所接收的信息来表现绿色。即使用表现绿色的颜色插值算法。

现有技术中，单芯片Bayer模式颜色滤镜中的颜色插值方法包括双线性插值方法、色移插值方法和使用亮度梯度的自适应插值方法。下面解释每种插值方法。

图1A是示出双线性插值方法中的5x5 Bayer模式。如图所示，在双线性插值方法中，例如对像素G8，使用最邻近的四个像素(G3、G7、G9和G13)的颜色信息来复原G值，并且如下面的公式示出的使用这邻接的四个像素(G3、G7、G9和G13)的平均。

$G_8=\frac{G_3+G_7+G_9+G_{13}}{4}$  ———————————【公式1】

图1B示出了色移插值方法中的5 x 5Bayer模式的图示。如图所示，色移插值方法通过使用双线性方法获得所有邻近的G值，然后通过以前由传感器已知的R值所获得的G8来获得R8。

假设与待复原像素B8邻接的R值和G值之间的比值是常数，然后在邻接的四个像素G2、G4、G12和G14中计算R值和G值之间比值的平均值。如下面的公式所示，所计算的平均值与像素(B8)的G值(G8)相乘，由此复原R值(R8)。

$R_8=G_8\frac{\frac{R_2}{G_2}+\frac{R_4}{G_4}+\frac{R_{12}}{G_{12}}+\frac{R_{14}}{G_{14}}}{4}$                      【公式2】

图2A和图2B示出了使用亮度梯度的自适应插值方法中的Bayer模式。在图2A中，α表示垂直边信息，而β表示水平边信息。下面的公式3用于获得垂直边信息α和水平边信息β。

α＝abs[(B₄₂+B₄₆)/2-B₄₄]

                                       【公式3】

β＝abs[(B₂₄+B₆₄)/2-B₄₄]

一旦获得垂直边信息α和水平边信息β，就可以确定色移是在水平轴方向更小，还是在垂直轴方向更小。如果α小于β，则在水平轴方向的色移比在垂直轴方向的色移更小。另一方面，如果α大于β，确定G34和G54之间的平均值作为G44。而且，如果α等于β，确定各邻接值G34、G43、G45和G54的平均值作为G44(参加公式4)。

$G_{44}=\left\{\begin{array}{c}(G_{43}+G_{45})/2,\mathrm{if\&alpha;}<\mathrm{\&beta;}\\ (G_{34}+G_{54})/2,\mathrm{if\&alpha;}>\mathrm{\&beta;}\\ (G_{43}+G_{45}+G_{34}+G_{54})/4,\mathrm{if\&alpha;}=\mathrm{\&beta;}\end{array}\right.$         【公式4】

当复原了G值(如G44)，如图2B所示，在R值与G值之间的比值(R:G)以及B值与G值之间的比值(B:G)是常数的情况下，可获得R值和B值(参加公式5)。

$R_{34}=\frac{(R_{33}-G_{33})+(R_{35}-G_{35})}{2}+G_{34}$

                           ———————【公式5】

$B_{34}=\frac{(B_{33}-G_{33})+(B_{35}-G_{35})}{2}+G_{34}$

图3是示出使用亮度梯度的自适应插值方法中的Bayer模式的图示。图3中G_{diff_ver}表示待复原像素(如G44)的右边值和左边值之间的差异，并且G_{diff_hor}表示待复原像素(如G44)的上边值和下边值之间的差异

下面的公式6用于获得垂直值和水平值(G_{diff_ver}，G_{diff_hor})。

G_{diff_hor}＝abs[G₅₄-G₃₄]

                        —————————【公式6】

G_{diff_ver}＝abs[G₄₃-G₄₅]

所获得的水平值和垂直值(G_{diff_ver}，G_{diff_hor})同任意设置的阈值threshold比较以通过使用下面的公式确定G值。

1.(G_{diff_hor}>threshold)AND(G_{diff_ver}>threshold)

→G₄₄＝(G₃₄+G₄₅+G₅₄+G₄₃)/4

2.(G_{diff_hor}<＝threshold)AND(G_{diff_ver}<＝threshold)

→G₄₄＝(G₃₄+G₄₅+G₅₄+G₄₃)/4

3.(G_{diff_hor}<＝threshold)AND(G_{diff_ver}>threshold)

→G₄₄＝(G₄₃+G₄₅)/2

4.(G_{diff_hor}>threshold)AND(G_{diff_ver}<＝threshold)

→G₄₄＝(G₃₄+G₅₄)/2

当通过上述公式复原了每个像素的G值，可按照使用亮度梯度的插值方法的同样方式复原R值和B值。可根据每个图像传感器不同地设置阈值，因此优化每个图像传感器。

插值方法大致可分成双线性插值方法、颜色校正插值方法和使用空间关系的插值方法。双线性插值方法需要的计算量小并且易于实现。但是这种方法引起拉链效果(zipper effect)和模糊现象。

颜色校正方法包括色移插值方法和使用亮度梯度的实现方法。颜色校正方法通过使用色差和色比来维持柔和色。由于其实现简单并且色彩稳定，所以在照相机中使用颜色校正方法。

使用空间关系的插值方法通过使用色差和偏移比(shift ratio)产生最佳质量的图像。但是该方法的实现较复杂，要求很大的计算量。而且，由于该方法只使用上/下分量和左/右分量，当在实际图像中存在偏斜线或边线时可能导致模糊现象。

在现有技术的插值方法中，如果计算简单，图片质量就下降。当计算复杂，图片质量就改进，但计算负担增加。而且，在斜或偏图像的情况下，图像质量也下降，因考虑了上、下、左、右分量但没有考虑对角分量。

因此需要方法来解决上述问题。

发明内容

下面通过结合附图详细说明本发明，上述和其他的目的、本发明的特性、内容和优点会更加明了。

根据本发明的一个方面，一种插值方法包括：计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性；计算与所述多个像素中的至少两个像素的该第一颜色值相关联的平均值，所述至少两个像素具有第一级相似性；复原与用于该第一像素的该第一颜色的第一颜色值；以及根据使用亮度梯度的插值来复原与用于所述第一像素的第二颜色和第三颜色相关联的值。

在一个实施例中，计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性包括调整邻接所述第一像素的所述多个像素的第一颜色值。在另外的实施例中，计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性包括获取邻接该第一像素的第一颜色的各像素之间的相似性。计算与所述多个像素中的至少两个像素的该第一颜色值相关联的平均值可包括具有所述第一级相似性的至少两个像素的算数平均值乘以所述至少两个像素之间的相似性值。

在优选实施例中，根据Bayer模式排列多个像素。所述第一像素可以是蓝像素或红像素。例如，所述第一颜色可以是绿色；第二颜色是红色；第三颜色是蓝色。在优选实施例中，所述第一级相似性是最高级相似性。

根据另外的实施例，提供一种插值像素颜色的方法。该方法包括：获取具有第一级相似性的第一颜色的至少两个像素，其中，所述至少两个像素邻接待复原的第一像素；计算用于所述第一颜色的所述两个像素的平均值，并因此复原用于所述第一颜色的所述至少两个像素的值。

在一个实施例中，通过使用亮度梯度的插值方法复原与用于至少两个像素的第二颜色相关联的值。通过使用亮度梯度的插值方法可以获取与用于所述至少两个像素的第三颜色相关联的值。

附图说明

这里包含的附图用于更好理解本发明并结合到说明书中作为说明书的组成部分，本发明示例性的实施例连同说明书用于解释本发明的原理。

图1A示出了双线性插值方法中的5x5 Bayer模式。

图1B示出了色移插值方法中的5x5 Bayer模式。

图2A和2B示出了通过梯度的插值方法中的Bayer模式。

图3示出了使用亮度梯度的自适应插值方法中的Bayer模式

图4示出了根据本发明第一实施例的颜色插值方法中的Bayer模式。

图5示出了根据本发明的一个实施例的用于复原绿色的方法。

图6示出了根据本发明的一个实施例的用于复原红色或蓝色的方法。

下面详细说明本发明的优选实施例，在附图中说明其例子。

具体实施方式

参见图4和图5，在示例性的插值方法中，像素B44是蓝像素，并且没有绿信息和红信息。为了复原B44的绿值，衡量并调整B44的邻接像素G34、G43、G45和G54的G值，并且计算邻接像素G34、G43、G45和G54之间的相似性。

通过确定各像素的颜色信息相互之间究竟有多类似来定义相似性，并例如通过下述的公式7来计算相似性。

$a\&equiv;b=\frac{1}{2}[\min (a\&RightArrow;b,b\&RightArrow;a)+\min (\stackrel{\&OverBar;}{a}\&RightArrow;\stackrel{\&OverBar;}{b},\stackrel{\&OverBar;}{b}\&RightArrow;\stackrel{\&OverBar;}{a})]$

                                 ——【公式7】

其中a和b之间的相似性是a≡b，a，b∈[0，1]并且a＝1-a，b＝1-b。在公式7中，算符“→”提供多值蕴涵并且可由不同的方法来定义。在一个实施例中，使用Lukasiewicz蕴涵方法。Lukasiewicz蕴涵方法由下面的公式8定义。

$a\&RightArrow;b=\left\{\begin{array}{cc}1& \mathrm{if\; a}\&le;b\\ 1-a+b& \mathrm{otherwise}\end{array}\right.$                【公式8】

参见图5，通过使用公式7和公式8，可以确定两个像素a和b之间的相似性(a≡b)。由于在公式7中a和b的值在“0～1”的范围内，要把一个或多个邻接像素的R、G和B的值调整到“0～1”的范围(S10)。对于定义成R_ij的像素，通过下面的公式9调整R_ij。

$N\left(R_{\mathrm{ij}}\right)=\frac{R_{\mathrm{ij}}}{2^{\mathrm{bits}}}$                             【公式9】

其中i和j是与每个下标相关联的整数，并且bits定义了在哪个点影像设备显示每个像素的值。当通过公式9调整像素，可通过公式7获得像素之间的相似性(S20)。

在一个实施例中使用下面的公式10来计算G34和G43之间的相似性。小写字母g_ij是通过调整G_ij获得的值。

$G_{34}\&equiv;G_{43}=\frac{1}{2}[\min (g_{34}\&RightArrow;g_{43},g_{43}\&RightArrow;g_{34})+\min ({\stackrel{\&OverBar;}{g}}_{34}\&RightArrow;{\stackrel{\&OverBar;}{g}}_{43},{\stackrel{\&OverBar;}{g}}_{43}\&RightArrow;{\stackrel{\&OverBar;}{g}}_{34})]$

                                          【公式10】

通过使用公式8，利用下面的公式11来计算g₃₄→g₄₃。

$g_{34}\&RightArrow;g_{43}=\left\{\begin{array}{cc}1& \mathrm{if}{g}_{34}\&le;g_{43}\\ 1-g_{34}+g_{43}& \mathrm{otherwise}\end{array}\right.$           【公式11】

通过使用公式7和8获得与待复原像素(如B44)相邻的上下左右四个像素之间的各相似性(S30)。相应得到具有最高相似性的像素(S40)。

也即，如果要复原像素B44的G值G44，要分别获得在水平、垂直和对角方向的相邻像素(G34、G43、G45和G54)之间的相似性G₃₄≡G₄₃、G₄₃≡G₄₅、G₄₅≡G₅₄、G₅₄≡G₃₄、G₃₄≡G₄₅、G₄₃≡G₅₄。在一个实施例中，可通过下面的公式12得到最高相似性。

Max[G₃₄≡G₄₃，G₄₃≡G₄₅，G₄₅≡G₅₄，G₅₄≡G₃₄，G₃₄≡G₄₅，G₄₃≡G₅₄]

                                          【公式12】

如果确定两个像素(如G34和G43)是高相似的，这两个像素(即G34和G43)与待复原像素(B44)的G值相一致的可能性就高。但是，即使确定这两个像素具有最高相似性，当这四个相邻像素之间的相似程度非常低时，这两个像素可能也不是高相似的。

因此，这两个具有最高相似性的像素(即G34和G43)的相似性(G₄₃≡G₅₄)乘以这两个像素的算数平均值((G34+G43)/2)。两个像素之间的相似性越高，待复原的像素的G值(G44)与这两个像素就越接近。两个像素之间的相似性越低，待复原的像素的G值(G44)与这两个像素就越偏离。

当G34和G43具有个相邻像素之间最高的相似性时，使用公式13来获得B44的G值G44。

$G_{44}=\frac{1}{2}(G_{34}\&equiv;G_{43})(G_{34}+G_{43})$        【公式13】

图6示出了根据本发明实施例的用于复原红色或蓝色的方法。如前面假设复原蓝像素Bij和红像素Rij的绿值G(S110)。按照与通过梯度的插值方法相同的方式来计算未复原的R值和B值(S120)。

当邻接待复原像素的R值和G值之间的比值(R∶G)和邻接待复原像素的B值和G值之间的比值(B∶G)是常数，通过下面的公式14获得R值Rji和B值Bij。

$R_{\mathrm{ij}}=\frac{(R_{i,j-1}-G_{i,j-1})+(R_{i,j+1}-G_{i,j+1})}{2}+G_{\mathrm{ij}}$

                               【公式14】

$B_{\mathrm{ij}}=\frac{(B_{i,j-1}-G_{i,j-1})+(B_{i,j+1}-G_{i,j+1})}{2}+G_{\mathrm{ij}}$

因此这里考虑了水平和垂直分量以及对角分量，当实现斜的或加边的部分时，可以减少模糊现象。另外，衡量待复原像素的相邻像素之间的相似性，并且具有最高相似性的两个像素的绿值的平均值乘以它们之间的相似性。在一个实施例中，利用加权求和方法可获得清晰的图像。

在不脱离本发明基本特性的前提下，本发明可以按几种不同的形式来实施。应该理解，除非特别指明，上述的实施例不限于所述的任何细节，而是应该在权利要求所定义的精神和范围内做更宽泛的理解。

Claims (19)

1.一种插值方法，包括

计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性；

计算与所述多个像素中的至少两个像素的第一颜色值相关联的平均值，该至少两个像素具有第一级相似性；

复原与用于该第一像素的该第一颜色的第一颜色值；以及

根据使用亮度梯度的插值复原与用于该第一像素的第二颜色和第三颜色相关联的值。

2.如权利要求1所述的方法，其中，计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性包括调整邻接该第一像素的该多个像素的第一颜色值。

3.如权利要求1所述的方法，其中，计算邻接待复原的第一像素的第一颜色的多个像素之间的相似性包括获取邻接该第一像素的第一颜色的各像素之间的相似性。

4.如权利要求1所述的方法，其中，计算与所述多个像素中的至少两个像素的第一颜色值相关联的平均值包括具有该第一级相似性的至少两个像素的算数平均值乘以所述至少两个像素之间的相似性值。

5.如权利要求1所述的方法，其中，该多个像素根据Bayer模式来排列。

6.如权利要求1所述的方法，其中，该第一像素是蓝像素。

7.如权利要求1所述的方法，其中，该第一像素是红像素。

8.如权利要求1所述的方法，其中，该第一颜色是绿色。

9.如权利要求1所述的方法，其中，该第二颜色是红色。

10.如权利要求1所述的方法，其中，该第三颜色是蓝色。

11.如权利要求1所述的方法，其中，该第一级相似性是最高级相似性。

12.一种用于在数字系统中插值像素颜色的方法，该方法包括：

获取具有第一级相似性的第一颜色的至少两个像素，其中该至少两个像素邻接待复原的第一像素；

计算用于该第一颜色的该两个像素的平均值，并因此复原用于该第一颜色的该至少两个像素的值；以及

通过使用亮度梯度的插值方法复原与用于该至少两个像素的第二颜色相关联的值。

13.如权利要求12所述的方法，进一步包括：

通过使用亮度梯度的插值方法复原与用于该至少两个像素的第三颜色相关联的值。

14.如权利要求12所述的方法，其中，该第一颜色是绿色。

15.如权利要求12所述的方法，其中，该第二颜色是红色。

16.如权利要求13所述的方法，其中，该第三颜色是蓝色。

17.如权利要求12所述的方法，其中，该第一级相似性是最高级相似性。

18.一种用于在数字系统中插值像素颜色的方法，该方法包括：

获取具有最高相似性的至少两个绿像素，其中该至少两个像素邻接待复原的第一像素；

计算用于该两个像素的平均绿色值，并因此复原该至少两个像素的绿色值；以及

通过使用亮度梯度的插值方法复原用于该至少两个像素的红色值。

19.如权利要求12所述的方法，进一步包括：

通过使用亮度梯度的插值方法复原用于该至少两个像素的红色值。

Images