CN101939762A - 用于重构彩色图像的方法和设备 - Google Patents

Abstract

提供了一种用于重构来自于传感器的彩色图像的方法，所述传感器包括以行和列矩阵布置的多个像素。传感器具备颜色滤波器阵列，使得每个像素与三个基色之一相对应。以预定模式在传感器上提供三个基色。传感器输出多个像素中每一个像素的检测值。该方法包括针对多个像素中的每一个像素的步骤：接受针对三个基色中相应的一个基色而获得的检测值，针对相应的其他两个基色中的每一个基色，计算垂直内插值和水平内插值并选择垂直内插值或水平内插值；输出接受的检测值和选择的内插值。基于包围相应像素的5×5像素环境中的像素的检测值来计算垂直内插值和水平内插值。

Description

用于重构彩色图像的方法和设备

技术领域

本发明涉及一种用于重构来自于具备颜色滤波器阵列(CFA)的传感器的彩色图像的方法和设备。

背景技术

近年来，数字图像获取已经变得越来越普及。具体地，数字彩色图像的获取已被广泛使用在许多技术领域。通常，通过获取针对三原色的图像并将这些图像组合成彩色图像来获取数字彩色图像。通常，使用三原色红、绿和蓝(RGB)。然而，原则上诸如青、黄、品红(CYM)等其他原色也是可能的。因此，用于获取彩色图像的理想系统需要每图像像素三个单色光敏元件，即，在RGB图像的情况下，分别针对红、绿和蓝的单色光敏元件。因此，这种图像的每个像素由与原色或基色的比例相对应的三个分量组成。由于经济原因，具备颜色滤波器阵列(CFA)的单个传感器的使用已经在市场上得到广泛接受。这种传感器的每个光敏元件具备针对三原色之一的原色滤波器，并因此仅检测三原色之一。

公知的颜色滤波器阵列是如在US 3,971,065中公开的所谓的Bayer RGB颜色滤波器阵列。在这种颜色滤波器阵列中，百分之五十的光敏图像元件包括绿滤波器(G)、百分之二十五包括红滤波器(R)，剩余的百分之二十五包括蓝滤波器(B)。因此，必须根据周围像素来内插像素的原色的丢失部分。因此，与每像素三个独立颜色传感器的布置相比图像质量变得劣化，这是由于降低了颜色分辨率。此外，根据所选的内插方法，会出现许多图像伪像，图像伪像可以劣化获取图像的整体外观。

一方面，可以找到复杂的高质量算法，另一方面，可以找到能够在硬件中的实现具有低复杂性的更简单方法，但是不会提供令人满意的质量。

US 2004/0179752 A1公开了一种用于对来自单色传感器阵列的全彩色图像进行内插的方法。根据该方法，首先重构所有绿像素，并根据该重构来重构红和蓝像素。因此，用于存储与全帧相对应的数据的帧存储器需要保存要重构的全图像并逐步完成图像。

发明内容

本发明的目的是提供一种用于重构彩色图像的方法和设备，所述方法和设备不需要帧存储器，并允许以节约资源的硬件实现方式来实现已知复杂方法的高质量。

该目的可以由根据权利要求1所述的方法来实现。提供了一种重构来自于传感器的彩色图像的方法。传感器包括以行和列矩阵布置的多个像素。传感器具备颜色滤波器阵列，使得每个像素与三个基色之一相对应，以预定模式在传感器上提供三个基色。传感器输出多个像素中的每一个像素的检测值。该方法包括针对多个像素中的每一个像素的以下步骤：接受针对三个基色中相应的一个基色而获得的检测值，并且针对相应的其他两个基色中的每一个基色，计算垂直内插值和水平内插值并选择垂直内插值或水平内插值；输出接受的检测值和选择的内插值；其中，基于包围相应像素的5×5像素环境中的像素的检测值，来计算垂直内插值和水平内插值。因此，对于每个像素，沿着垂直方向和水平方向对两个丢失颜色值进行内插。由于基于在包围要执行内插的像素的5×5环境中的像素的检测值来计算丢失颜色值的水平内插值和垂直内插值，因此不需要帧存储器，仅4个行存储器就足以提供用于滤波的5×5环境。因此，使用仅4个行存储器的节约资源的硬件实现方式是可能的。由于针对所有丢失颜色值来计算垂直内插值和水平内插值，并且从这些计算的值中选择要接受的内插值，因此可以确保针对所有颜色分量的高质量内插。

优选地，选择垂直内插值或水平内插值的步骤包括：考虑水平内插值计算水平边缘指示符；考虑垂直内插值计算垂直边缘指示符；以及将水平边缘指示符与垂直边缘指示符相比较。水平边缘指示符是考虑水平内插值而计算的，即，用于计算水平边缘指示符的等式包括水平内插值。类似地，用于计算垂直边缘指示符的等式包括垂直内插值。因此，改善了最终能接受的丢失颜色值的内插。

根据一方面，利用5×5像素环境中的像素，根据等式class_x＝|a₃₃-a₃₁|+|a₃₃-a₃₅|+|B₃₃-b₃₂|+|B₃₃-b₃₄|来计算水平边缘指示符，5×5像素环境中的像素被定义为：

$\left[\begin{array}{ccccc}{p}_{11}& p_{12}& p_{13}& p_{14}& p_{15}\\ p_{21}& p_{22}& p_{23}& p_{24}& p_{25}\\ p_{31}& p_{32}& p_{33}& p_{34}& p_{35}\\ p_{41}& p_{42}& p_{43}& p_{44}& p_{45}\\ p_{51}& p_{52}& p_{53}& p_{54}& p_{55}\end{array}\right]$

像素p₃₃是被执行内插的像素，a_ij和b_ij是像素p_ij的相应检测值，以及B₃₃是像素p₃₃相对于与b₃₂和b₃₄相同的原色的水平内插值。水平边缘指示符的这种计算是非常适合的，这是由于考虑了相应颜色分量的水平内插值B₃₃。

根据一方面，根据等式class_y＝|c₃₃-c₁₃|+|c₃₃-c₅₃|+|D₃₃-d₂₃|+|D₃₃-d₄₃|来计算垂直边缘指示符，其中，c_ij和d_ij是像素p_ij的相应检测值，以及D₃₃是像素p₃₃相对于与b₂₃和b₄₃相同的原色的垂直内插值。垂直边缘指示符的这种计算是非常适合的，这是由于考虑了相应颜色分量的垂直内插值D₃₃。因此，提供了选择最终可接受的内插颜色值的适当基础。

如果在满足关系class_y＜class_x的情况下选择垂直内插值，否则选择水平内插值，则很容易在硬件中实现选择步骤，并且在选择期间适当考虑水平和垂直内插值。

目的还可以通过根据权利要求6所述的用于重构彩色图像的设备来实现。该设备包括传感器，传感器包括以行和列矩阵布置的多个像素。传感器具备颜色滤波器阵列，使得每个像素与三个基色之一相对应。以预定模式在传感器上提供三个基色。传感器适用于输出多个像素中的每一个像素的检测值。设备还包括：重构单元，适用于执行针对多个像素中的每一个像素的以下操作：接受针对三个基色中相应的一个基色而获得的检测值，针对相应的其他两个基色中的每一个基色，计算垂直内插值和水平内插值并选择垂直内插值或水平内插值；输出接受的检测值和选择的内插值；其中，基于包围相应像素的5×5像素环境中的像素的检测值来计算垂直内插值和水平内插值。由于基于在包围要执行内插的像素的5×5环境中的像素的检测值来计算丢失颜色值的水平内插值和垂直内插值，因此不需要帧存储器，仅4个行存储器就足以提供用于滤波的5×5环境。因此，实现了使用仅4个行存储器的节约资源的硬件实现方式。由于针对所有丢失颜色值来计算垂直内插值和水平内插值，并且从这些计算的值中选择要接受的内插值，因此可以确保针对所有颜色分量的高质量内插。

优选地，设备包括适用于向重构单元提供5×5像素环境的多个行存储器。因此，不需要帧存储器来内插丢失颜色值，并且实现了具有低复杂性的硬件实现方式。此外，非常快速地提供内插的结果。

如果重构单元包括分类单元，该分类单元适用于考虑水平内插值计算水平边缘指示符以及考虑垂直内插值计算垂直边缘指示符，则与不考虑内插值的重构相比，改进了适当内插方向的边缘分类和选择。

根据以下实施例的详细描述，其他特征和优点将变得显而易见。

附图说明

参照附图中所示的实施例，作为非限制示例，下文中将更详细地描述本发明。

图1是在实施例中使用的颜色滤波器阵列的示意图。

图2是根据本发明的用于重构彩色图像的设备的示意图。

图3a至3g示出了在实施例中使用的滤波器核。

图4示出了包围中心像素的5×5像素环境。

图5a是用于说明水平边缘指示符的计算的图示。

图5b是用于说明垂直边缘指示符的计算的图示。

具体实施方式

现在参照图1至5描述本发明的实施例。根据实施例用于重构彩色图像的设备1包括具备颜色滤波器阵列(CFA)的传感器2。传感器2包括以行和列矩阵布置的多个像素p_ij。传感器2包括多个行N_r和多个列N_c，因此包括多个像素N_r×N_c。颜色滤波器阵列(CFA)被布置为，使得每个像素对原色或基色红、绿和蓝之一敏感。在图1中示出了针对传感器2中包括4×4个像素的部分的布置颜色滤波器阵列的模式。如图1所见，颜色滤波器阵列是所谓的BayerRGB颜色滤波器阵列。在图1中，红像素由R标记、绿像素由G标记、以及蓝像素由B标记。存在交替布置红像素和绿像素的行(RG行)，以及交替布置蓝像素和绿像素的行(BG行)。RG行和BG行被布置为，使得形成了交替布置红像素和绿像素的列(RG列)以及形成了交替布置蓝像素和绿像素的列(BG列)。应当注意，图1仅示出了颜色滤波器阵列的一部分，该部分还可以按照所描述的模式沿着水平方向和垂直方向扩展。因此，百分之五十的像素对绿(G)敏感，百分之二十五的像素对红(R)敏感，百分之二十五的像素对蓝(B)敏感。传感器2被构造用于在用光照射时获取彩色图像，例如，传感器2是数字摄像机的CCD传感器。例如，如果红光照射在特定时间内对具有特定强度的红光(R)敏感的像素，则该像素输出与该照射相对应的值。

如背景技术部分中所描述的，由于传感器具备颜色滤波器阵列，所以需要针对绿像素内插红值和蓝值。类似地，需要针对红像素内插绿值和蓝值，以及针对蓝像素内插绿值和红值。在以下文中，将描述如何根据实施例执行这种对不能直接检测到的颜色值的内插。

根据实施例，根据实施例的用于内插的方法严格作用于包围要执行内插的像素的5×5环境。该方法是基于线性滤波器的组合的探试方法，线性滤波器的组合以状态相关方式应用于相应像素的5×5环境。根据该方法，同时计算所有丢失颜色分量，以降低关于硬件实现方式上的存储器的需求。

如图2示意性所示，将包围要内插的像素的5×5环境3的检测像素值同时提供给水平内插单元4、垂直内插单元5、分类单元6。在图4中示意性示出了5×5像素环境3。在图4中，必须执行内插的像素是由p₃₃标记的中心像素，5×5环境3中的像素被指示为像素p_ij，其中，如数学矩阵中一样，i指示行索引，j指示列索引。将水平内插单元4和垂直内插单元5的输出提供给分类单元6。此外，将水平内插单元4、垂直内插单元5以及分类单元6的输出提供供给输出单元7，输出单元7包括判定单元8和复用器9。水平内插单元4、垂直内插单元5、分类单元6、以及输出单元7一起形成重构单元。

图3a至3g示意性示出了分别在水平单元4和垂直单元5中使用的滤波器核。在该示意中，滤波器核中的值也以5×5矩阵来布置，矩阵中所指示的相应值是在内插过程中要用于5×5环境3中相应像素p_ij的相应检测值的因子。在下文中，缩写x_ij(或a_ij，b_ij，c_ij，和d_ij)(其中，0≤i，j≤5)用于指定像素p_ij处的检测值。a与b之间或c与d之间的不同用于指示相应检测值与不同颜色相对应。

红像素处的内插

例如，如果中心像素p₃₃是红像素，则必须针对相应蓝值和相应绿值来执行内插。由于检测到中心像素p₃₃的红值，因此通过应用图3a所示的滤波器核来接受该值。这意味着，将中心像素p₃₃的值(在这种情况下，检测到的红值)乘以+1，并输出至输出单元7。

为了确定中心像素的绿值，执行水平内插和垂直内插。在水平内插单元4中执行水平内插，以及在垂直内插单元5中执行垂直内插。对于水平内插，使用图3b所示的滤波器核。这意味着，将像素p₃₁处的检测值x₃₁乘以-1/4，p₃₂处的检测值x₃₂乘以1/2，p₃₃处的检测值x₃₃乘以1/2，p₃₄处的检测值x₃₄乘以1/2，以及p₃₅处的检测值x₃₄乘以-1/4。根据-1/4*x₃₁+1/2*x₃₂+1/2*x₃₃+1/2*x₃₄-1/4*x₃₅将所获得的值相加，以获得像素处的绿值的水平内插。

采用类似的方式，使用图3e所示的滤波器核来执行垂直内插。即，根据-1/4*x₁₃+1/2*x₂₃+1/2*x₃₃+1/2*x₄₃-1/4*x₅₃来计算中心红像素的绿值的垂直内插。

采用类似的方式，使用图3d所示的滤波器核来之行红像素处的蓝值的水平内插，使用图3g所示的滤波器核来执行红像素处的蓝值的垂直内插。

蓝像素处的内插

如果中心像素p₃₃是蓝像素，则使用图3a所示的滤波器核来接受检测到的蓝值。在这种情况下，必须对该像素的红值和绿值进行内插。同样，针对丢失值执行水平和垂直内插。使用图3d所示的滤波器核在水平内插单元4中执行红值的水平内插，使用图3g所示的滤波器核在垂直内插单元5中执行红值的垂直内插。

对于绿值的水平内插，使用图3b所示的滤波器核，对于绿值的垂直内插，使用图3e所示的滤波器核。

绿像素处的内插

如果中心像素p₃₃是绿像素，则使用图3a所示的滤波器核来接受检测到的绿值。必须对丢失红值和蓝值进行内插。同样，对于每个丢失颜色值执行垂直和水平内插。

对于BG列中的红值的垂直内插，使用图3e的滤波器核，对于BG列中的红值的垂直内插使用图3f的滤波器核。对于RG行中的红值的水平内插，使用图3b的滤波器核。对于BG行中的水平内插，使用图3c的滤波器核。

对于BG列中的蓝值的垂直内插，使用图3e的滤波器核，对于RG列中的蓝值的垂直内插使用图3f的滤波器核。对于BG行中的蓝值的水平内插，使用图3b的滤波器核2，对于RG行中的水平内插，使用图3c的滤波器核。

因此，在每种情况下接受像素的实际检测颜色值，对于丢失颜色值执行垂直和水平内插。所使用的滤波函数是以水平定向的函数以及垂直定向的函数的形式提供的，从而分别与水平加权内插和垂直加权内插相对应。总之，图3所示的滤波器核用作以下：

-图3a的滤波器核用于接受已有的红、绿、或蓝值。

-图3b的滤波器核用于：红或蓝位置处的绿值的水平内插；RG列中绿位置处的红色的水平内插；RG行中绿位置处蓝色的水平内插。

-图3c的滤波器核用于：BG行中蓝位置处红色的水平内插；RG行中绿位置处蓝色的水平内插。

-图3d的滤波器核用于：蓝位置处的红色的水平内插，以及红色位置处蓝色的水平内插。

-图3e的滤波器核用于：红或蓝位置处的绿色的垂直内插；RG列中绿位置处红色的垂直内插；以及BG列中绿位置处的蓝色的垂直内插。

-图3f的滤波器核用于：RG列中绿位置处蓝色的垂直内插；以及BG列中绿位置处红色的垂直内插。

-图3g的滤波器核用于：蓝位置处的红色的垂直内插；以及红位置处的蓝色的垂直内插。

在图3中，在矩阵布置中重复滤波器核。然而，应用滤波器，使得滤波器核中相应位置f_ij的值用于与5×5像素环境3的相应检测值x_ij相乘，并且将获得的积相加，以提供内插值，即，计算以下和：

水平内插单元4和垂直内插单元5向分类单元6和输出单元7提供相应内插值作为输出。

此外，根据实施例，相对于垂直和水平方向，沿着图像中包含的对象边缘执行边缘敏感内插。这可以用于防止在重构的图像中出现彩色伪像。在最终用于图像重构的内插中仅使用相关的图像点。这一点在下文中进行描述。

分类单元6适用于判定将水平内插单元4的水平内插结果还是将垂直内插单元5的垂直内插结果用作内插的红、绿和蓝值的最终结果。分类单元6检测沿着水平或垂直方向的边缘。为了实现这一点，计算两个边缘指示符，水平边缘指示符class_x和垂直边缘指示符class_y。如将关于图5a和5b描述的，根据相应布置的5像素图像环境，计算水平和垂直边缘指示符class_x和class_y。

在图5a中，包括中心像素p₃₃的行的检测值x_ij由a₃₁、b₃₂、a₃₃、b₃₄、和a₃₅表示；a和b用于指示该行中像素的相应基色红和绿或蓝和绿。类似地，在图5b中，包括中心像素p₃₃的列的检测值x_ij由c₁₃、d₂₃、c₃₃、d₄₃和c₅₃表示；c和d用于指示该列中像素的相应基色红和绿或蓝和绿。此外，像素p₃₃的相应颜色的水平内插值表示为B₃₃，像素p₃₃的相应颜色的垂直内插值表示为D₃₃。即，B₃₃是中心像素的颜色分量b的水平内插值，D₃₃是中心像素p₃₃的颜色分量d的垂直内插值。根据实施例，根据等式class_x＝|a₃₃-a₃₁|+|a₃₃-a₃₅|+|B₃₃-b₃₂|+|B₃₃-b₃₄|计算水平边缘指示符class_x，根据等式class_y＝|c₃₃-c₁₃|+|c₃₃-c₅₃|+|D₃₃-d₂₃|+|D₃₃-d₄₃|计算垂直边缘指示符class_y。

边缘指示符class_x与class_y之间的比较确定使用的最终内插方向。如果所计算的垂直边缘指示符的值小于所计算的水平边缘指示符的值(class_y＜class_x)，则接受垂直内插颜色值作为最终结果，否则，重构结果由水平内插颜色值提供。获得的最终值由输出单元7输出。在根据实施例的设备中，分类单元6传递相应边缘指示符class_x和class_y，判定单元8执行比较(class_y＜class_x)，复用器9选择水平或垂直内插以便相应地输出。

因此，根据实施例，根据Bayer传感器图像重构了全RGB图像。通过所公开的线性滤波器(图3a至3g所示的滤波器)，以每像素单一步骤的方式水平和垂直地重构丢失颜色分量。如上所述利用边缘指示符class_x和class_y，从水平内插颜色值和垂直内插颜色值中选择最终重构结果。因此，图像重构系统将已知复杂方法的高质量与硬件实现方式的节约资源可能性相结合。特别适合于必须尽可能快地呈现图像重构结果的应用领域。例如，在视频应用的情况下。

由于所提出的方法和系统严格地作用于Bayer格式的源图像的5×5环境，并且同时计算所有丢失颜色分量，因此降低了对硬件实现方式中的存储器的要求。并非例如在首先完全计算绿层的情况下使用全图象存储器，根据实施例仅需要4个行存储器提供5×5环境以进行后续滤波。

在垂直边缘指示符class_y和水平边缘指示符class_x的计算中，使用已经被内插的值(B₃₃和D₃₃)。因此，该插值与不考虑之前已经被内插的值的内插相比，获得明显更好的结果。具体地，所公开的滤波器核由于所选系数而非常适合于节约资源的硬件实现方式。

尽管所描述的实施例中以分离单元的形式描述水平内插单元4、垂直内插单元5、以及分类单元6，但是也可以将这些单元集成在一个单元中。此外，与输出单元7的集成也是可能的。

关于滤波器核，也可以使用将所有值f_ij与特定因子相乘的滤波器核，同时保持的f_ij的相应值之间的比例。

本领域技术人员将理解，必须以略微不同的方式来处理位于行和列矩阵的边缘处的像素。

Claims (8)

1.一种重构来自于传感器的彩色图像的方法，所述传感器包括以行和列矩阵布置的多个像素，所述传感器具备颜色滤波器阵列，使得每个像素与三个基色之一相对应，以预定模式在传感器上提供所述三个基色；其中，所述传感器输出多个像素中的每一个像素的检测值；

所述方法包括针对多个像素中的每一个像素的以下步骤：

接受针对三个基色中相应的一个基色而获得的检测值，针对相应的其他两个基色中的每一个，计算垂直内插值和水平内插值并选择垂直内插值或水平内插值；

输出接受的检测值和选择的内插值；

其中，基于包围相应像素的5×5像素环境中的像素的检测值来计算垂直内插值和水平内插值。

2.根据权利要求1所述的方法，其中，选择垂直内插值或水平内插值的步骤包括：

考虑水平内插值计算水平边缘指示符；

考虑垂直内插值计算垂直边缘指示符；以及

将水平边缘指示符与垂直边缘指示符相比较。

3.根据权利要求2所述的方法，其中，根据等式class_x＝|a₃₃-a₃₁|+|a₃₃-a₃₅|+|B₃₃-b₃₂|+|B₃₃-b₃₄|来计算水平边缘指示符，5×5像素环境中的像素被定义为：

$\left[\begin{array}{ccccc}{p}_{11}& p_{12}& p_{13}& p_{14}& p_{15}\\ p_{21}& p_{22}& p_{23}& p_{24}& p_{25}\\ p_{31}& p_{32}& p_{33}& p_{34}& p_{35}\\ p_{41}& p_{42}& p_{43}& p_{44}& p_{45}\\ p_{51}& p_{52}& p_{53}& p_{54}& p_{55}\end{array}\right]$

像素p₃₃是被执行内插的像素，a_ij和b_ij是像素p_ij的相应检测值，以及B₃₃是像素p₃₃的水平内插值。

4.根据权利要求3所述的方法，其中，根据等式class_y＝|c₃₃-c₁₃|+|c₃₃-c₅₃|+|D₃₃-d₂₃|+|D₃₃-d₄₃|来计算垂直边缘指示符，其中，c_ij和d_ij是像素p_ij的相应检测值，以及D₃₃是像素p₃₃的垂直内插值。

5.根据权利要求4所述的方法，其中，如果满足以下关系：class_y＜class_x，则选择垂直内插值，否则选择水平内插值。

6.一种用于重构彩色图像的设备，所述设备包括：

传感器，包括以行和列矩阵布置的多个像素，所述传感器具备颜色滤波器阵列，使得每个像素与三个基色之一相对应，以预定模式在传感器上提供所述三个基色；所述传感器适用于输出多个像素中的每一个像素的检测值；以及

重构单元，适用于执行针对多个像素中的每一个像素的以下操作：

接受针对三个基色中相应的一个基色而获得的检测值，针对相应的其他两个基色中的每一个基色，计算垂直内插值和水平内插值并选择垂直内插值或水平内插值；

输出接受的检测值和选择的内插值；

其中，基于包围相应像素的5×5像素环境中的像素的检测值，来计算垂直内插值和水平内插值。

7.根据权利要求6所述的设备，其中，所述设备包括适用于向重构单元提供5×5像素环境的多个行存储器。

8.根据权利要求6或7所述的设备，其中，重构单元包括分类单元，所述分类单元适用于考虑水平内插值计算水平边缘指示符以及考虑垂直内插值计算垂直边缘指示符。

Images