CN101771883A - 用于对颜色进行去马赛克的装置及其方法 - Google Patents

Abstract

本发明公开了一种用于对图像传感器中的颜色进行去马赛克的装置及其方法，从而可以以精确地检测连续1-线边缘的方式精确地找到边缘方向。本发明包括：图像传感器，包含从每个像素检测到的颜色信号的信息；第一线存储器，用于接收并存储来自图像传感器的输出数据；丢失绿色信息提取器，用于提取第一线存储器的数据中的丢失的绿色像素信息；延迟器，用于接收第一线存储器的数据，该延迟器将接收的数据延迟预定时间，该延迟器输出延迟的数据；第二线存储器，用于临时存储从丢失绿色信息提取器输出的数据和经由延迟器提供的数据；以及丢失红色/蓝色信息输出器，用于从第二线存储器的数据中提取丢失的红色/蓝色信息。

Description

用于对颜色进行去马赛克的装置及其方法

相关申请交叉参考

本申请要求于2008年12月30日提交的第10-2008-0136928号韩国专利申请的优先权，其全部内容通过引证结合在此。

技术领域

本发明涉及一种图像传感器，更具体地，涉及图像传感器中的用于对颜色进行去马赛克的装置及其方法。

背景技术

通常，诸如数码相机、手机等的能够获取数字图像的图像获取装置包括图像传感器。并且，图像传感器包括2维阵列传感器。公知的是，每个传感器均设置在“像素位置”。每个传感器检测光的一种颜色的强度。一般地，存在绿色传感器、红色传感器和蓝色传感器。

目前，存在CCD或CMOS图像传感器采用的多种像素阵列类型。然而，由于像素设计的简化，优良的颜色再现性以及工艺产量，大多数的图像传感器采用了图1所示的Bayer图案。根据观看颜色和图像的方式，优选地由图像传感器对于绿色采样进行对红色和蓝色的子采样。传感器的最上方的行包括交替的绿色和红色像素。最上方的行的下一行包括绿色和蓝色像素。传感器的顺序是根据图像传感器逐行垂直向下而生成的。

绿色像素G的数量多于红色像素R或蓝色像素B的数量。绿色像素G的数量等于红色像素R与蓝色像素B的数量的和。因此，绿色像素G的数量相对地多于红色像素R或蓝色像素B的数量。这是因为绿色最接近亮度成分，并且因为人眼对绿色是最敏感的。

因此，图1所示的图像传感器具有的绿色传感器多于红色或蓝色传感器。这可以称为“红色和蓝色子采样”。一个颜色采样值仅从图像传感器上的每个像素位置中获取。例如，每个颜色采样值均可以具有例如8比特值。

通常，图像具有配置有红色、绿色和蓝色的一个像素。然而，参照图1，Bayer图案具有配置有一种颜色(如红色、绿色和蓝色)的一个像素。为了再现整个图像，每个像素中丢失的信息应当使用相邻像素来插入。

为了精确插入丢失的色彩信息，我们进行了很多的努力。然而，使用了图像的高频区域中的不正确的相邻像素信息，则会显示脱离图像的失真的视频。

为了解决这个问题，存在Color Demosaicing Using Variance OfColor Correlation(使用颜色相关性的变化对颜色进行去马赛克)以及Effective Color Interpolation in CCD Color Filter Arrays UsingSignal Correlation(使用信号相关性在CCD颜色滤波器阵列中进行有效的颜色插值)等中描述的已研究的多种技术。参考这些技术，边缘感测减少了不正确的像素信息，但是使得更为精确的像素信息有待获得。因此，通过由边缘感测获得精确像素信息来执行插值(去马赛克)。

汉密尔顿边缘分类器(Hamilton edge classifier)主要用于边缘感测，表示为公式1。图像感测器包括针对行和列的二维阵列颜色感测器。每个颜色感测器均位于一个像素位置处，然后检测一个颜色。在本实例中，每个颜色感测器均产生8比特颜色子像素值。

符号“G_ij”用于表示颜色子像素值。在该符号中，前面的大写字母表示检测的颜色。如果该字母为“R”，则检测的颜色为红色。如果该字母为“G”，则检测的颜色为绿色。如果该字母为“B”，则检测的颜色为蓝色。由两个数字“ij”表示的符号位于前面的字母后面。在该符号中，第一个数字“n”表示一行子像素值，而第二个数字“j”表示一列子像素值

[公式1]

ΔH_i，j＝|G_i，j-1-G_i，j+1|+|2R_i，j-R_i，j-2-R_i，j+2|

ΔV_i，j＝|G_i-1，j-G_i+1，j|+|2R_i，j-R_i-2，j-R_i+2，j|

在公式1中，如果用于寻找在图像中丢失的颜色信息的像素的当前位置为(i，j)，则可以按照寻找水平梯度(gradient)ΔH_i，j和垂直梯度ΔV_i，j的方式根据公式2找到丢失的绿色值，然后确定水平方向上的边缘分量和垂直方向上的边缘分量哪个最大。

[公式2]

$g_{i,j}=\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{(2R_{i,j}-R_{i,j-2}-R_{i,j+2})}{4}$ ifΔH_i，j＜ΔV_i，j

$g_{i,j}=\frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{(2R_{i,j}-R_{i-2,j}-R_{i+2,j})}{4}$ ifΔH_i，j＞ΔV_i，j

$g_{i,j}=\frac{G_{i-1,j}+G_{i+1,j}+G_{i,j-1}+G_{i,j+1}}{4}+\frac{({4R}_{i,j}-R_{i-2,j}-R_{i+2,j}+R_{i,j-2}-R_{i,j+2})}{4}$ ifΔH_i，j＝ΔV_i，j

即便使用了公式1和公式2，如果存在连续的1-线的窄边缘，则公式1不足以完美地区分边缘的精确方向性。因此，就会出现去马赛克误差。

为此，在Color Demosaicing Using Variance Of Color Correlation中介绍了使用颜色校正的9×9内核(kernel)边缘感测方案。尽管“Effective Color Interpolation in CCD Color Filter Arrays UsingSignal Correlation”中介绍了修补(supplement)上述汉密尔顿边缘分类器的方案，如果存在连续的1-线窄边缘，则仍存在不正确的边缘感测。

发明内容

因此，本发明致力于一种用于对图像传感器中的颜色去马赛克的装置以及其方法，从而基本上消除由于背景技术中的局限和缺点造成的一个或多个问题。

本发明的一个方面提供了一种对图像进行去马赛克的装置及其方法，从而可以提供高质量的图像。

本发明的另一方面提供了一种去马赛克装置及其方法，从而可以通过执行高频区域中的边缘感测来精确地获得相邻像素的信息。

本发明的又一方面提供了一种去马赛克装置和方法，从而克服了在存在连续的1-线窄边缘的区域中发生的边缘感测误差导致的缺陷。

在下面的描述中将部分地阐述本发明的其它优点、目的以及特性，并且根据分析下述内容或者可以从本发明的实施中得到教导，本发明的一部分对本领域的技术人员来说将变得显而易见。本发明的目的和其他优点可以由在其所写的说明书和权利要求书以及附图中所具体指出的结构来实现和获得。

为了实现这些目的和其他优点并且根据本发明的目的，正如本文中所实施并广泛描述的，根据本发明的用于对颜色进行去马赛克的装置包括：图像传感器，包含从每个像素检测到的颜色信号的信息；第一线存储器，用于接收并存储来自图像传感器的输出数据；丢失绿色信息提取器，用于提取第一线存储器的数据中的丢失的绿色像素信息；延迟器，用于接收第一线存储器的数据，该延迟器将接收的数据延迟预定时间，该延迟器输出延迟的数据；第二线存储器，用于临时存储从丢失绿色信息提取器输出的数据和经由延迟器提供的数据；以及丢失红色/蓝色信息输出器，用于从第二线存储器的数据中提取丢失的红色/蓝色信息。

优选地，丢失绿色信息提取器包括：梯度计算单元，用于寻找当前像素的梯度；线边缘确定单元，用于将内核中的绿色像素值的最小/最大值的差值与阈值进行比较，线边缘确定单元根据比较的结果确定是否存在连续的1-线边缘区域；方向性确定单元，用于通过对集中在中心像素上的8个相邻像素进行边缘感测来确定当前中心像素的边缘的方向性；边缘分类单元，用于基于梯度计算单元和线边缘确定单元提供的值区分出从由平面(plain plane)、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构(texture)边缘区域组成的组中选择的一个值；以及边缘改进单元，用于使用由边缘分类单元和方向性确定单元提供的值以及阈值来修改相邻边缘方向。

在本发明的另一方面，对颜色进行去马赛克的方法包括：第一颜色信息存储步骤，接收并存储从图像传感器的每个单元中检测到的颜色信号的信息；丢失绿色信息提取步骤，提取第一颜色信息存储步骤中的丢失的绿色像素信息；延迟步骤，将第一颜色信息数据延迟预定时间，然后输出延迟的数据；第二颜色信息存储步骤，存储通过丢失的绿色信息提取步骤提取的数据和经由延迟步骤提供的数据；以及丢失红色/蓝色信息输出步骤，从第二颜色信息中提取丢失的红色/蓝色信息。

优选地，丢失绿色信息提取步骤包括以下步骤：寻找当前像素的梯度；将内核中的绿色像素值的最小/最大值的差值与阈值进行比较，然后根据比较的结果确定是否存在连续的1-线边缘区域；通过对集中在中心像素上的8个相邻像素进行边缘感测来确定当前中心像素的边缘的方向性；边缘分类步骤，基于梯度值和是否存在1-线边缘区域区分出从由平面、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构边缘区域组成的组中选择的一个值；以及边缘改进步骤，使用阈值基于分类的边缘和边缘的方向性来修改相邻边缘方向。

应当理解，本发明的前文的一般描述以及下文的详细描述都是示例性的和解释性的，并且旨在提供对所要求保护的本发明的进一步解释。

附图说明

附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理，所包括的这些附图用于提供本发明的进一步理解，并且结合在本申请中并构成该申请的一部分。在附图中：

图1是Bayer图案的实例的示图；

图2是根据本发明的颜色去马赛克装置的框图；

图3是根据本发明的颜色去马赛克装置的详细的框图；

图4是具有连续的窄边缘区域的内核中的绿色分量信息的示例性示图；

图5是边缘方向性图(edge directionality map)的示例性示图；

图6是根据本发明的颜色去马赛克方法的过程的流程图；以及

图7是根据本发明的颜色去马赛克方法的详细过程的流程图。

具体实施方式

现在将详细参考本发明的优选实施例，在附图中示出了本发明的实例。在任何可能的情况下，将在所有图中使用的相同的参考标号表示相同或类似的部件。

如图2所示，根据本发明的颜色去马赛克装置包括：图像传感器10，包含从每个像素检测到的颜色信号的信息；第一线存储器20，用于接收并存储来自图像传感器10的输出数据；丢失绿色信息提取器(或称“丢失的绿色信息提取器”)30，用于通过修补区域中的不正确边缘感测的错误来提取丢失的绿色像素信息，该区域中存在第一线存储器20的数据中的连续的1-线窄边缘；延迟器40，用于接收第一线存储器20的数据，延迟器40将接收的数据延迟预定时间，延迟器40输出延迟的数据；第二线存储器50，用于临时存储从丢失绿色信息提取器30输出的数据和经由延迟器40提供的数据；以及丢失红色/蓝色信息输出器60，用于从第二线存储器50的数据中提取丢失的红色/蓝色信息。

图2中示出了在丢失绿色像素信息提取器30中存在边缘分类器。如图2所示，边缘分类器使用对应的值提取绿色，然后提取红色和蓝色。

图3是根据本发明的颜色去马赛克装置的详细的框图。

参照图3，丢失绿色信息提取器包括：梯度计算单元31，用于寻找当前像素的梯度；线边缘确定单元32，用于将内核中的绿色像素值之间的最小/最大值的差值与阈值进行比较，线边缘确定单元32根据比较的结果确定是否存在连续的1-线边缘区域；方向性确定单元33，用于通过对集中在中心像素上的8个相邻像素进行边缘感测来确定当前中心像素的边缘的方向性；边缘分类单元34，用于基于梯度计算单元31和线边缘确定单元32提供的值区分平面(plainplane)、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构(texture)边缘区域中的一个；以及边缘改进单元35，用于使用由边缘分类单元34和方向性确定单元33提供的值以及阈值来修改相邻边缘方向。

梯度计算单元31是一个用于寻找当前像素的梯度值的模块。梯度计算单元31使用了源自使用“Color Demosaicing UsingVariance Of Color Correlation”中提出的色差对梯度计算方案进行修改的计算方案。即，在根据背景技术的“Color Demosaicing UsingVariance Of Color Correlation”中，找到内核中相邻像素的色差的变化，用于更为精确的边缘感测。然而，由于该方法需要十分繁重的计算工作量，故需应用公式3和公式4.

[公式3]

$K_{\mathrm{ij}}^H=[({\mathrm{img}}_{i,j-1}+{\mathrm{img}}_{i,j+1})>>1]+[({\mathrm{img}}_{i,j-2}+2*{\mathrm{img}}_{i,j}+{\mathrm{img}}_{i,j+2})>>2]$

$K_{\mathrm{ij}}^V=[({\mathrm{img}}_{i-1,j}+{\mathrm{img}}_{i+1,j})>>1]+[({\mathrm{img}}_{i-2,j}+2*{\mathrm{img}}_{i,j}+{\mathrm{img}}_{i+2,j})>>2]$

其中，水平权重和垂直权重分别为K_i，j ^H和K_i，j ^V。

公式4示出了相邻像素之间的色差，并且如下表示。

$\mathrm{dH}=|K_{i,j}^H-K_{i,j-2}^H|+|K_{i,j}^H-K_{i,j+2}^H|$

线边缘确定单元32是在背景技术的边缘分类器中新加入的模块。在1-线窄边缘为连续的高频区域中，色差(dH，dV)表示为很小的值。所以，难以区分该区域是否是其中有边缘存在的区域，或者是否是其中不存在边缘的平面区域。

图4是具有连续的窄边缘区域的内核中的绿色分量信息的示例性框图。参照图4，即使在垂直或水平方向上找到绿色的梯度，仍可以期待几乎相同的值。

然而，如果找到了内核中的绿色值的最小值和最大值，然后找到了最小值和最大值之间的差，则值的差是相当大的，这不同于平面的情况。因此，为了使连续的1-线边缘区域与平面区域彼此区分，本发明的边缘分类器34找到内核中的绿色值的最小值和最大值。如果差值超过特定阈值(NarrowEdgeThr)，则将其确定为是否存在1-线边缘的区域。

方向性确定单元(局部梯度)33是在背景技术的边缘分类器中新加入的模块。对相对于内核中的中心像素的8个相邻像素执行简单的边缘感测。在这种情况下，对应的边缘分类使用了广泛应用的汉密尔顿边缘感测方案[参照公式1和公式2]。

优选地，边缘分类器34使用输入的梯度值和内核中的绿色值的最小值/最大值的差来检测当前中心像素的边缘的方向性。随后，配置用于对当前找到的边缘的方向性是否是正确的值再一次执行改进的基准(reference)。

边缘分类器34将梯度计算单元31和线边缘确定单元32提供的值与第一阈值提供单元36提供的PlainThr、StrongThr、NarrowEdgeThr值进行比较，以区分出平面、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构边缘区域中的一个。

根据背景技术的公式2，通过将垂直梯度值与水平梯度值进行比较，确定根据ΔH＞ΔV，ΔH＜ΔV和ΔH＝ΔV中的一个的边缘。然而，本发明按照如下方式进行该确定。

1、如果ΔH等于或小于平面阈值PlainThr，ΔV等于或小于PlainThr，并且最小值与最大值之间的差值diffMinMaxVal等于或小于窄边缘阈值NarrowEdgeThr，则将其确定为平面。

2、如果ΔH等于或小于平面阈值PlainThr，ΔV等于或小于PlainThr，并且最小值与最大值之间的差值diffMinMaxVal大于窄边缘阈值NarrowEdgeThr，则将其确定为连续1-线边缘区域。

3、如果ΔH大于较大的阈值(strong threshold)与ΔV相加的结果的值，则将其确定为垂直边缘区域。

4、如果ΔV大于较大的阈值与ΔH相加的结果的值，则将其确定为水平边缘区域。

5、否则，将其确定为结构边缘区域。

同时，边缘改进单元(边缘改进)35将方向性确定单元(局部梯度模块)33找到的梯度值用作基准。

图5中示出了对应的实例。图5示出了使用从方向性确定单元(局部梯度模块)33输出的值来配置相邻像素的边缘方向图的实例。将当前中心像素的边缘方向确定为水平方向，而相邻像素具有主要确定为垂直方向的边缘方向。在这种情况下，除中心之外的其余像素的边缘方向性通过应用以下规则来设置边缘方向的标准。

edge Criterion＝0；

for indxR＝-1∶1

    for indxC＝-1∶1，

        if(indxR！＝0)&(indxC！＝0)

           if edge Map(i+indxR，j+indxC＝＝V

               edge Criterion+＝2；

          else if edge Map(i+indxR，j+indxC＝＝A_V

               edge Criterion+＝1；

          else if edge Map(i+indxR，j+indxC＝＝A_H

             edge Criterion-＝1；

       else if edge Map(i+indxR，j+indxC＝＝H

            edge Criterion-＝2；

          End

        End

      End

    End

因此，如果边缘标准值等于或大于预定阈值，则修改中心像素的边缘方向性信息。在图5的实例中，如果边缘标准为6而由第二阈值提供单元37提供的阈值(edgeRefinementThr)为5，则当边缘标准超过阈值时，将中心像素的边缘方向性修改为“垂直(V)”。

图6是根据本发明的颜色去马赛克方法的过程的流程图。

参照图6，从图像传感器接收从每个像素检测到的颜色信号的信息，然后存储该信息(存储第一颜色数据)[S10]。

通过修补在存在连续1-线窄边缘的区域进行不正确的边缘感测而产生的错误，来提取用于提取丢失的绿色像素信息的混合绿色信息(估计丢失的绿色像素)[S20]。

将存储的颜色信息数据延迟预定时间，然后输出(延迟)[S30]。

存储通过丢失绿色信息提出过程提取的数据和通过延迟提供的数据(存储第二颜色数据)[S40]。

最后，在完成混合绿色信息提取之后，从数据中提取丢失的红色和蓝色信息(估计丢失的红色和蓝色像素)[S50]。

图7是根据本发明的颜色去马赛克方法的详细过程的流程图。具体地，图7详细地示出了丢失的绿色像素估计。

参照图7，计算当前像素中的梯度值(使用色差计算梯度)[S21]。

通过将内核中的绿色像素值的最大值/最小值的差值(最大值与最小值的差值)与阈值进行比较，根据比较的结果确定是否存在连续1-线边缘区域(Diff＝Gmax-Gmin)(S22)。

通过参照中心像素对8个相邻像素进行边缘感测，确定当前中心单元的边缘的方向性(相邻8个像素的局部梯度)[S23]。

基于梯度值和是否存在1-线边缘区域，区分出平面、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构边缘区域中的一个(边缘分类器)[S24]。

基于分类的边缘和边缘的方向性，使用阈值修改相邻的边缘方向(改进边缘感测)[S25]。

从而，本发明提供了如下效果和/或优点。

首先，本发明能够精确地找到Bayer图案中当前像素的边缘方向性。

其次，本发明能够精确地检测1-线边缘，从而提高了边缘分类器的性能。

第三，提高了Bayer图案的颜色去马赛克的精度。

对本领域的技术人员是显而易见的是，在没有背离本发明的精神和范围的前提下，在本发明中可以进行各种修改和变化。因此，本发明旨在包含这些改变和变化，只要本发明的修改和变化在所附的权利要求及其等价物的范围之中。

Claims (7)

1.一种用于对颜色进行去马赛克的装置，包括：

图像传感器，包含从每个像素检测到的颜色信号的信息；

第一线存储器，用于接收并存储来自所述图像传感器的输出数据；

丢失绿色信息提取器，用于提取所述第一线存储器的数据中的丢失绿色像素信息；

延迟器，用于接收所述第一线存储器的数据，所述延迟器将所接收的数据延迟预定时间，所述延迟器输出所延迟的数据；

第二线存储器，用于临时存储从所述丢失绿色信息提取器输出的数据和经由所述延迟器提供的数据；以及

丢失红色/蓝色信息输出器，用于从所述第二线存储器的数据中提取丢失红色/蓝色信息。

2.根据权利要求1所述的装置，所述丢失绿色信息提取器包括：

梯度计算单元，用于寻找当前像素的梯度；

线边缘确定单元，用于将内核中的绿色像素值的最小/最大值的差值与阈值进行比较，所述线边缘确定单元根据所述比较的结果确定是否存在连续1-线边缘区域；

方向性确定单元，用于通过对集中在中心像素上的8个相邻像素进行边缘感测来确定当前中心像素的边缘的方向性；

边缘分类单元，用于基于由所述梯度计算单元和所述线边缘确定单元提供的值区分出从由平面、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构边缘区域组成的组中选择的一个值；以及

边缘改进单元，用于使用由所述边缘分类单元和所述方向性确定单元提供的值以及阈值来修改相邻边缘方向。

3.根据权利要求2所述的装置，其中，所述梯度计算单元使用了应用如下公式的“使用颜色相关性的变化对颜色进行去马赛克”，并且其中，如下公式将相邻像素之间的色差定义为

其中，水平权重和垂直权重分别设置为

和

。

4.根据权利要求1所述的装置，其中，所述丢失绿色信息提取器通过修补存在有连续1-线窄边缘的区域中的不正确边缘感测的错误来从所述第一线存储器的数据中提取所述丢失绿色像素信息。

5.一种用于对颜色进行去马赛克的方法，包括以下步骤：

第一颜色信息存储步骤，接收并存储从图像传感器的每个单元中检测到的颜色信号的信息；

丢失绿色信息提取步骤，提取所述第一颜色信息存储步骤中的丢失绿色像素信息；

延迟步骤，将所述第一颜色信息数据延迟预定时间，然后输出所延迟的数据；

第二颜色信息存储步骤，存储通过所述丢失绿色信息提取步骤提取的数据和经由所述延迟步骤提供的数据；以及

丢失红色/蓝色信息输出步骤，从所述第二颜色信息中提取丢失红色/蓝色信息。

6.根据权利要求5所述的方法，所述丢失绿色信息提取步骤包括以下步骤：

寻找当前像素的梯度；

将内核中的绿色像素值的最小/最大值的差值与阈值进行比较，然后根据所述比较的结果确定是否存在连续1-线边缘区域；

通过对集中在中心像素上的8个相邻像素进行边缘感测来确定当前中心像素的边缘的方向性；

边缘分类步骤，基于所述梯度的值和是否存在1-线边缘区域区分出从由平面、连续1-线边缘区域、垂直边缘区域、水平边缘区域和结构边缘区域组成的组中选择的一个值；以及

边缘改进步骤，使用阈值基于所分类的边缘和所述边缘的方向性来修改相邻边缘方向。

7.根据权利要求5所述的方法，所述丢失绿色信息提取步骤包括以下步骤：通过修补在所述第一颜色信息存储步骤中存在有连续1-线窄边缘的区域中的不正确边缘感测的错误来提取所述丢失绿色像素信息。

Images