CN107256533B - 处理镶嵌图像的方法 - Google Patents

Abstract

本发明提供一种处理镶嵌图像的方法，该方法包括：沿着一方向上取样该镶嵌图像以产生一组像素数据；以及沿着该方向调整该组像素数据，以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像。本发明可确保好的图像品质。

Description

处理镶嵌图像的方法

【技术领域】

本发明关于图像处理，尤其关于一种处理镶嵌图像(mosaicked image)的方法。

【背景技术】

现在，数码相机几乎无处不在。不仅有单机(stand-along)数码相机，也有嵌入各种类型的电子设备(例如智能机及平板电脑)内的数码相机。甚至，数码摄像机也可被当做是数码相机。

通常来说，数码相机至少具有一个色彩感测器(color sensor)及叠加在该色彩感测器上的一个色彩滤波矩阵(color filter array，CFA)。举几个例子，色彩感测器可以是电荷耦合装置(charge coupled device，CCD)传感器或互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)传感器；色彩滤波矩阵可以是拜耳(Bayer)色彩滤波矩阵，RGBC(Red,Green,Blue,Clean)色彩滤波矩阵，或者CYYM(Cyan,Yellow,Yellow,Magenta)色彩滤波矩阵。

数码相机产生的原始图像(raw image)为镶嵌图像，具有不同颜色的像素，这些像素在像素的每一水平线条及像素的每一垂直线条上交替。要想做到有效，经常需要处理镶嵌图像。一些图像处理方法会以更复杂的计算为代价来确保更好的图像品质。另一些图像处理方法可具有较简单的计算但会导致较差的图像品质。

【发明内容】

有鉴于此，本发明提供一种处理镶嵌图像的方法。

本发明实施例提供一种处理镶嵌图像的方法。该方法包括：沿着一方向上取样该镶嵌图像以产生一组像素数据；以及沿着该方向调整该组像素数据，以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像。

本发明另一实施例提供一种处理镶嵌图像的方法。该方法包括：沿着一方向上取样该镶嵌图像以产生一组像素数据；调整该组像素数据以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像；以及处理该图像以产生去镶嵌并处理过的图像。

本发明另一实施例提供一种处理镶嵌图像的方法。该方法包括：沿着一方向上取样和调整该镶嵌图像，以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像。

上述处理镶嵌图像的方法可确保好的图像品质。

【附图说明】

图1为依据本发明实施例的处理镶嵌图像的图像处理方法的示意图；

图2及图3为进一步说明图1所示方法的两个示意图。

【具体实施方式】

图1为依据本发明实施例的处理镶嵌图像的图像处理方法的示意图。该图像处理方法包含镶嵌图像调整尺寸(resize)方法100，其范例如图2及图3中描述，以及图像信号处理(image signal processing，ISP)方法900，其仅在图1中描述。

为简洁起见，图1,2,3描述的每一示范性图像被拆分为不同颜色的平面(plane)。举例来说，如果使用拜耳色彩滤波矩阵来产生镶嵌图像，则颜色平面可包含红(R)平面、蓝(B)平面以及绿(G)平面。在另一范例中，可使用其他类型的色彩滤波矩阵(例如，RGBC色彩滤波矩阵或CYYM色彩滤波矩阵)来产生该镶嵌图像。

在图中，包围字母“X”的矩形代表对应颜色平面中丢失的像素；包围字母“R”、“B”或“G”的矩形代表对应颜色平面中的红、蓝或绿像素。如果颜色平面不具有任何丢失的像素，则其被称为完整取样(full-sampled)的颜色平面。另一方面，如果颜色平面有某些像素丢失，则其被称为子取样(sub-sampled)颜色平面。使用图1描述的镶嵌图像和已调整尺寸并部分去镶嵌的(demosaicked)图像为例，前者具有子取样R平面、子取样B平面以及子取样G平面，后者具有子取样R平面、子取样B平面以及完整取样G平面。

图1描述的图像处理方法使电子设备能够将镶嵌图像转换成去镶嵌并处理过的图像。镶嵌图像具有M行N列像素，其中M及N为两个正整数。换句话说，镶嵌图像的分辨率为M×N。去镶嵌并处理过的图像的分辨率为M"×N"，其中M"为小于或等于M的正整数，N"为小于或等于N的正整数。

图1、图2及图3描述的镶嵌图像调整尺寸的方法100使电子设备能够首先将镶嵌图像转换成已调整尺寸并部分去镶嵌的图像。已调整尺寸并部分去镶嵌的图像的分辨率为M'×N'，其中M'为小于或等于M的正整数，N'为小于或等于N的正整数。举例来说，M'及N'可分别等于M"及N"。

修饰语“部分去镶嵌的”表示已调整尺寸并部分去镶嵌的图像可具有至少一个完整取样的颜色平面。换句话说，已调整尺寸并部分去镶嵌的图像可具有至少一个无丢失像素的颜色平面。在镶嵌图像调整尺寸方法100之后，图1描述的图像信号处理方法900使电子设备能够将该已调整尺寸并部分去镶嵌的图像转换成去镶嵌并处理过的图像。举几个例子，图像信号处理方法900可包含去镶嵌、图像灰度校正(gamma correction)、色彩校正、噪声消减以及边缘增强(edge enhancement)等等。

请参考图2及图3。在镶嵌图像调整尺寸方法100中，电子设备首先沿着第一方向上执行上取样(up-sample)及调整尺寸，接着沿着第二方向上执行上取样及调整尺寸。虽然在所述范例中第一方向及第二方向分别为水平方向及垂直方法，但是在其他范例中该第一方向及第二方向可以分别为垂直方向及水平方向。请注意，如果第一方向及第二方向分别为水平方向及垂直方法，则沿着第一方向的线条及沿着第二方向的线条会分别是行和列。另一方面，如果第一方向及第二方向分别为垂直方向及水平方向，则沿着第一方向的线条及沿着第二方向的线条会分别是列和行。

请参考图2。在镶嵌图像调整尺寸方法的步骤120，电子设备沿着第一方向上取样镶嵌图像以产生第一中间图像，其分辨率可仍为M×N。换句话说，在步骤120，电子设备在每一颜色平面沿着第一方向上取样线条。在被上取样后，原始子取样线条会变成完整取样的线条或变成具有较少丢失像素的子取样线条，原始未取样的线条可保持未取样(即保持原封不动)，以及原始完整取样的线条可保持完整取样(即保持原封不动)。如此处使用的，如果交替了丢失像素(每一个在图中表示为符号'X')及现有像素(每一个在图中表示为符号'R'、'G'或'B')，则线条为子取样；如果没有丢失像素，则线条为完整取样；如果仅有丢失像素，则线条为未取样。举例来说，子取样线条的交替期间可为n像素，其中n为大于1的整数，且每一交替期间可具有1个现有像素及(n-1)个丢失像素。换句话说，子取样线条的1/n像素可为现有像素，而其余(n-1)/n像素可为丢失像素。

使用图1及图2的镶嵌图像为例，在其R平面，奇水平线条为子取样以及偶水平线条为未取样。在步骤120，电子设备通过例如水平插值，将子取样奇水平线条转换成完整取样线条。在此期间，R平面的偶水平线条保持未取样。类似地，在镶嵌图像的B平面，偶水平线条为子取样以及奇水平线条为未取样。在步骤120，电子设备通过例如水平插值，将子取样偶水平线条转换成完全取样线条。在此期间，B平面的奇水平线条保持未取样。在镶嵌图像的G平面，所有水平线条为子取样。在步骤120，电子设备通过例如水平插值，将所有水平线条转换成完整取样线条。因为第一中间图像中产生的G平面只有完整取样线条，所以G平面已成为完整取样颜色平面。

接着，在镶嵌图像调整尺寸方法的步骤140，电子设备沿着第一方向调整第一中间图像的尺寸，以产生第二中间图像，其分辨率可为M'×N。换句话说，在步骤140，电子设备将沿着第一方向M像素的线条转换成沿着第一方向M'像素的线条。第二中间图像的G平面为完整取样，其中的每一线条为完整取样。

第二中间图像的R平面为子取样颜色平面。举例来说，其中的奇水平线条及奇垂直线条为子取样，而其中的偶水平线条及偶垂直线条为未取样。作为另一个范例，其中的奇水平线条及偶垂直线条为子取样，而其中的偶水平线条及奇垂直线条为未取样。当然，丢失像素及现有像素在子取样R平面中可用不同于上述两个例子的方式来设置。类似地，第二中间图像的B平面为子取样颜色平面。举例来说，其中的偶水平线条及偶垂直线条为子取样，而其中的奇水平线条及奇垂直线条为未取样。作为另一个范例，其中的偶水平线条及奇垂直线条为子取样，而其中的奇水平线条及偶垂直线条为未取样。当然，丢失像素及现有像素在子取样B平面中可用不同于上述两个例子的方式来设置。

请参考图3。在镶嵌图像调整尺寸方法的步骤160，电子设备沿着第二方向上取样第二中间图像，以产生第三中间图像，其分辨率可仍为M'×N。换句话说，在步骤160，电子设备在每一颜色平面沿着第二方向上取样线条。

举例来说，假设在第二中间图像的R平面中，奇垂直线条为子取样及偶垂直线条为未取样。在步骤160，电子设备通过例如垂直插值，将子取样奇垂直线条转换成完整取样线条。在此期间，R平面中的偶垂直线条保持未取样。类似地，假设在第二中间图像的B平面中，偶垂直线条为子取样及奇垂直线条为未取样。在步骤160，电子设备通过例如垂直插值，将子取样偶垂直线条转换成完整取样线条。在此期间，B平面中的奇垂直线条保持未取样。在第二中间图像的G平面中，所有垂直线条已经为完整取样。因此，电子设备可任G平面保持在步骤160中。换句话说，G平面可在步骤160之后保持原封不动。

接着，在镶嵌图像调整尺寸方法的步骤180，电子设备沿着第二方向调整第三中间图像的尺寸，以产生已调整尺寸并部分去镶嵌的图像，其分辨率可为M'×N'。换句话说，在步骤180，电子设备将沿着第二方向的N像素线条转换成沿着第二方向的N'像素线条。已调整尺寸并部分去镶嵌图像的G平面为完整取样，其中的每一线条(无论是水平或垂直)为完整取样。

已调整尺寸并部分去镶嵌图像的R平面为子取样颜色平面。举例来说，其中的奇水平线条及奇垂直线条为子取样，而其中的偶水平线条及偶垂直线条为未取样。作为另一个范例，其中的偶水平线条及奇垂直线条为子取样，而其中的奇水平线条及偶垂直线条为未取样。当然，丢失像素及现有像素在子取样R平面中可用不同于上述两个例子的方式来设置。类似地，已调整尺寸并部分去镶嵌图像的B平面为子取样颜色平面。举例来说，其中的偶水平线条及偶垂直线条为子取样，而其中的奇水平线条及奇垂直线条为未取样。作为另一个范例，其中的奇水平线条及偶垂直线条为子取样，而其中的偶水平线条及奇垂直线条为未取样。当然，丢失像素及现有像素在子取样B平面中可用不同于上述两个例子的方式来设置。

上述图像处理方法具有数个优势，其中一些浅谈如下。首先，因为已调整尺寸并部分去镶嵌图像(而不是镶嵌图像，其分辨率会比已调整尺寸并部分去镶嵌图像的分辨率高得多)在步骤900被处理，所以步骤900具有相对较低的计算需求。另外，因为在镶嵌图像调整尺寸方法中，仅在水平上取样之后执行水平调整尺寸，仅在垂直上取样之后执行垂直调整尺寸，所以已调整尺寸并部分去镶嵌图像会具有相对较好的品质。正因为如此，去镶嵌并处理过的图像也会保持相对较好的品质。举例来说，去镶嵌并处理过的图像会具有较少失真(artifact)，例如混淆现象(aliasing)及假彩色(false color)。

总而言之，上述图像处理方法不仅可降低计算需求，也可确保好的图像品质。

虽然本发明已以具体实施例揭露如上，然其仅为了易于说明本发明的技术内容，而并非将本发明狭义地限定于该实施例，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视本发明的权利要求所界定者为准。

Claims (18)

1.一种处理镶嵌图像的方法，其特征在于，包括：

沿着一方向上取样该镶嵌图像以产生一组像素数据；

沿着该方向调整该组像素数据，以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像；其中调整该组像素数据的步骤包含将第一颜色平面的完整取样线条调整为非完整取样线条，以生成第一颜色的子取样颜色平面；

沿着另一方向上取样该图像以产生另一组像素数据；以及

沿着该另一方向调整该另一组像素数据，以产生已调整尺寸并部分去镶嵌的图像。

2.如权利要求1所述的处理镶嵌图像的方法，其特征在于，该沿着一方向上取样该镶嵌图像以产生一组像素数据的步骤包括：

在该镶嵌图像的每一颜色平面中，通过沿着该方向的插值，沿着该方向上取样每一子取样线条。

3.如权利要求1所述的处理镶嵌图像的方法，其特征在于，在该镶嵌图像的第一颜色平面中，沿着该方向的奇线条为子取样；在该镶嵌图像的第二颜色平面中，沿着该方向的偶线条为子取样；以及在该镶嵌图像的第三颜色平面中，沿着该方向的所有线条为子取样；以及该沿着一方向上取样该镶嵌图像以产生一组像素数据的步骤包括：

将该第一颜色平面中沿着该方向的该奇线条转换成完整取样线条；

将该第二颜色平面中沿着该方向的该偶线条转换成完整取样线条；以及

将该第三颜色平面中沿着该方向的该所有线条转换成完整取样线条。

4.如权利要求1所述的处理镶嵌图像的方法，其特征在于，该沿着另一方向上取样该镶嵌图像以产生另一组像素数据的步骤包括：

在该图像的每一颜色平面中，通过沿着该另一方向的插值，沿着该另一方向上取样每一子取样线条。

5.如权利要求1所述的处理镶嵌图像的方法，其特征在于，在该图像的第一颜色平面中，沿着该另一方向的奇线条为子取样；在该图像的第二颜色平面中，沿着该另一方向的偶线条为子取样；以及在该图像的第三颜色平面中，沿着该另一方向的所有线条为完整取样；以及该沿着另一方向上取样该镶嵌图像以产生另一组像素数据的步骤包含：

将该第一颜色平面中沿着该另一方向的该奇线条转换成完整取样线条；以及

将该第二颜色平面中沿着该另一方向的该偶线条转换成完整取样线条。

6.一种处理镶嵌图像的方法，其特征在于，包括：

沿着一方向上取样该镶嵌图像以产生一组像素数据；

调整该组像素数据以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像；

其中调整该组像素数据的步骤包含将第一颜色平面的完整取样线条调整为非完整取样线条，以生成第一颜色的子取样颜色平面；以及

沿着另一方向上取样和调整该图像，以产生已调整尺寸并部分去镶嵌的图像；

处理该图像以产生去镶嵌并处理过的图像。

7.如权利要求6所述的处理镶嵌图像的方法，其特征在于，该沿着一方向上取样该镶嵌图像以产生一组像素数据的步骤包括：

在该镶嵌图像的每一颜色平面中，通过沿着该方向的插值，沿着该方向上取样每一子取样线条。

8.如权利要求6所述的处理镶嵌图像的方法，其特征在于，在该镶嵌图像的第一颜色平面中，沿着该方向的奇线条为子取样；在该镶嵌图像的第二颜色平面中，沿着该方向的偶线条为子取样；以及在该镶嵌图像的第三颜色平面中，沿着该方向的所有线条为子取样；以及该沿着一方向上取样该镶嵌图像以产生一组像素数据的步骤包括：

将该第一颜色平面中沿着该方向的该奇线条转换成完整取样线条；

将该第二颜色平面中沿着该方向的该偶线条转换成完整取样线条；以及

将该第三颜色平面中沿着该方向的该所有线条转换成完整取样线条。

9.如权利要求6所述的处理镶嵌图像的方法，其特征在于，该处理该图像以产生去镶嵌并处理过的图像的步骤包括：

沿着另一方向上取样该图像以产生另一组像素数据；

调整该另一组像素数据以产生已调整尺寸并部分去镶嵌的图像；以及

处理该已调整尺寸并部分去镶嵌的图像以产生该去镶嵌并处理过的图像。

10.如权利要求9所述的处理镶嵌图像的方法，其特征在于，该沿着另一方向上取样该图像以产生另一组像素数据的步骤包括：

在该图像的每一颜色平面中，通过沿着该另一方向的插值，沿着该另一方向上取样每一子取样线条。

11.如权利要求9所述的处理镶嵌图像的方法，其特征在于，在该图像的第一颜色平面中，沿着该另一方向的奇线条为子取样；在该图像的第二颜色平面中，沿着该另一方向的偶线条为子取样；以及在该图像的第三颜色平面中，沿着该另一方向的所有线条为完整取样；以及该沿着另一方向上取样该镶嵌图像以产生另一组像素数据的步骤包含：

将该第一颜色平面中沿着该另一方向的该奇线条转换成完整取样线条；以及

将该第二颜色平面中沿着该另一方向的该偶线条转换成完整取样线条。

12.如权利要求9所述的处理镶嵌图像的方法，其特征在于，该处理该已调整尺寸并部分去镶嵌的图像以产生该去镶嵌并处理过的图像的步骤包括：

执行去镶嵌、图像灰度校正、色彩校正、噪声消减以及边缘增强。

13.一种处理镶嵌图像的方法，其特征在于，包括：

沿着一方向上取样和调整该镶嵌图像，以产生包括至少一个完整取样颜色平面和至少一个子取样颜色平面的图像；其中调整该镶嵌图像的步骤包含将第一颜色平面的完整取样线条调整为非完整取样线条，以生成第一颜色的子取样颜色平面；

沿着另一方向上取样和调整该图像，以产生已调整尺寸并部分去镶嵌的图像。

14.如权利要求13所述的处理镶嵌图像的方法，其特征在于，该上取样和调整该镶嵌图像方向以产生该图像的步骤包括：

在该镶嵌图像的每一颜色平面中，通过沿着该方向的插值，沿着该方向上取样和调整每一子取样线条。

15.如权利要求13所述的处理镶嵌图像的方法，其特征在于，在该镶嵌图像的第一颜色平面中，沿着该方向的奇线条为子取样；在该镶嵌图像的第二颜色平面中，沿着该方向的偶线条为子取样；以及在该镶嵌图像的第三颜色平面中，沿着该方向的所有线条为子取样；以及该沿着一方向上取样该镶嵌图像以产生一组像素数据的步骤包括：

将该第一颜色平面中沿着该方向的该奇线条转换成完整取样线条；

将该第二颜色平面中沿着该方向的该偶线条转换成完整取样线条；以及

将该第三颜色平面中沿着该方向的该所有线条转换成完整取样线条。

16.如权利要求13所述的处理镶嵌图像的方法，其特征在于，该沿着另一方向上取样和调整该图像以产生已调整尺寸并部分去镶嵌的图像的步骤包括：

在该图像的每一颜色平面中，通过沿着该另一方向的插值，沿着该另一方向上取样和调整每一子取样线条。

17.如权利要求13所述的处理镶嵌图像的方法，其特征在于，

在该图像的第一颜色平面中，沿着该另一方向的奇线条为子取样；在该图像的第二颜色平面中，沿着该另一方向的偶线条为子取样；以及在该图像的第三颜色平面中，沿着该另一方向的所有线条为完整取样；以及该沿着另一方向上取样该镶嵌图像以产生另一组像素数据的步骤包含：

将该第一颜色平面中沿着该另一方向的该奇线条转换成完整取样线条；以及

将该第二颜色平面中沿着该另一方向的该偶线条转换成完整取样线条。

18.如权利要求13所述的处理镶嵌图像的方法，其特征在于，该已调整尺寸并部分去镶嵌的图像的分辨率小于该镶嵌图像的分辨率。

Images