CN1929620A - 消除由内插产生的彩色噪声的方法及系统 - Google Patents

Abstract

本发明提出一种消除由内插产生的彩色噪声的方法及系统，其先将影像感测装置所捕获的贝尔形式影像，利用补点方法还原出每一像素所对应的红、绿及蓝三色。再将此影像转换到色差领域，并即时利用已做彩色噪声消除处理的像素点的色差值更新二维3×3中值滤波器中的色差像素值，以提高中值滤波器过滤彩色噪声的能力。最后以一低通滤波器，以进一步消除中值滤波器所过滤出的成簇彩色噪声中不均匀的现象。

Description

消除由内插产生的彩色噪声的方法及系统

技术领域

本发明涉及影像处理技术领域，尤其涉及一种消除由内插产生的彩色噪声的方法及系统。

背景技术

彩色影像处理系统主要由一影像捕获单元、一影像还原及处理单元、一影像显示单元及一影像压缩单元所组成。影像捕获单元由影像感测装置(image sensor)所构成。其是由多个光电二极管(photo-diodes)所组成二维阵列的感光元件，并配合色彩滤波阵列(color filter array)，使得每一像素获得单一色彩值。影像还原及处理单元即是将每一像素经过内插(interpolation)处理，以还原出一像素的红、蓝及绿色颜色值。由于在内插还原的过程中，伴随影像在黑白交界处常会产生明显的彩色色斑。另外在影像感测装置捕获原始影像数据时，一般都无法避免会含有噪声(noise)存在，同时内插还原的过程中也会造成此噪声在邻近像素间扩散。

由于中值滤波器在去除噪声同时，也能保有边缘信息(edge information)，使影像不会产生模糊的现象。美国第USP5,778,106号专利案公告中，利用中值滤波器(median filter)对R-G与B-G进行消除彩色噪声处理。然而，由于内插还原所产生的彩色噪声是以成簇的形式出现，若使用范围小(如3×3)的二维中值滤波器，会无法有效地滤除彩色噪声，若使用范围大(如7×7或9×9)的二维中值滤波器，虽可滤除彩色噪声，但却增加许多成本。故已知消除由内插产生的彩色噪声的方法及系统仍有改善空间。

发明内容

本发明的目的是提供一种消除由内插产生的彩色噪声的方法及系统，以解决内插还原时所产生的成簇彩色噪声的问题，同时降低已知二维中值滤波器成本。

依据本发明的一个特色，提出一种消除由内插产生的彩色噪声的方法，以消除数字影像中内插时所产生的彩色噪声，该方法包含下列步骤：(A)接收该数字影像中的一像素及邻近像素；(B)将该像素补点成具有红色、绿色及蓝色信号；(C)依据该像素的红色、绿色及蓝色信号，产生一第一色差信号及一第二色差信号；(D)依据该第一、第二色差信号、邻近像素点的第一色差信号及第二色差信号、邻近像素点的第一校正色差信号及一第二校正色差信号进行滤波处理，产生一第一及第二滤波色差信号；(E)依据该第一、第二滤波色差信号及绿色信号，计算该像素的校正红色信号、校正绿色信号及校正蓝色信号；(F)依据该像素的校正红色信号、校正绿色信号及校正蓝色信号，产生该第一校正色差信号及第二校正色差信号；(G)重复上述步骤，直至处理完该数字影像的所有像素。

依据本发明的另一特色，提出一种消除由内插产生的彩色噪声的系统，以消除数字影像中内插时所产生的彩色噪声，该系统包含一补点装置、一色差产生装置、一滤波装置、一校正装置及一更新装置。该补点装置接收该数字影像中的一像素及邻近像素，将该像素补点成具有红色、绿色及蓝色信号；该色差产生装置耦合到该补点装置，依据该像素的红色、绿色及蓝色信号，产生一第一色差信号及一第二色差信号；该滤波装置耦合到该色差产生装置，以将该第一色差信号、第二色差信号、邻近像素点的第一色差信号及第二色差信号、邻近像素点的第一校正色差信号及一第二校正色差信号进行滤波处理，以产生一第一滤波色差信号及一第二滤波色差信号；该校正装置耦合到该补点装置及滤波装置，依据该第一滤波色差信号、第二滤波色差信号及绿色信号，计算该像素的校正红色信号、校正绿色信号及校正蓝色信号；该更新装置耦合到该校正装置，以产生该第一校正色差信号及第二校正色差信号。

由上可知，本发明将影像信号转换到色差色域，并利用先前已执行过彩色噪声消除处理的像素点的色差值取代原色差值，因此在采用范围小((如3×3))的低成本的中值滤波器时，可以提高滤波器消除成簇的彩色噪声区块的能力。进一步地，还可以再结合一低通滤波器，以进一步消除中值滤波器所过滤出的成簇彩色噪声不均匀的现象。

附图说明

图1是本发明的消除由内插产生的彩色噪声的系统的方框图。

图2是本发明的彩色贝尔形式影像的补点示意图。

图3是本发明的色差产生装置的电路图。

图4是本发明的滤波装置的方框图。

图5A～B是本发明的中值滤波器的输入数据的示意图。

图6A～E是本发明中值滤波器执行过程的示意图。

图7是本发明校正装置的方框图。

具体实施方式

有关本发明的较佳实施例说明，请参考图1所示的方框图。其用于消除数字影像中内插时所产生的彩色噪声，以产生一像素(i，j)的校正红色信号(Rc)、校正绿色信号(Gc)及校正蓝色信号(Bc)，该数字影像为一贝尔(bayer)形式影像。该系统包含一补点装置110、一色差产生装置120、一滤波装置130、一校正装置140及一更新装置150。

补点装置110接收该数字影像中的像素(i，j)及邻近像素，将该像素(i，j)补点成具有红、绿及蓝三色信号。图2是一彩色贝尔形式影像的补点示意图。像素的排列方式是以一排GRGRGR，一排BGBGBG交互排列形成。像素(i，j)仅为红色、绿色或蓝色其中之一的色彩值。故需在补点装置110中，利用补点的方法为像素(i，j)重建不存在的其他色彩值。

色差产生装置120耦合到该补点装置110，依据该像素(i，j)的红、绿及蓝三色信号，产生一第一色差信号U’(R-G)及一第二色差信号V’(B-G)。图3是色差产生装置120的电路图，其包含一第一减法器121及一第二减法器122。第一减法器121的第一输入端接收该像素(i，j)的红色信号，其第二输入端接收该像素的绿色信号，并将该像素(i，j)的红色信号值减去绿色信号值，产生该第一色差信号(R-G)。第二减法器122将该像素的蓝色信号值减去绿色信号值，产生该第二色差信号(B-G)。

滤波装置130耦合到该色差产生装置120，以将该第一色差信号U’(R-G)及第二色差信号V’(B-G)进行滤波处理，使产生一第一滤波色差信号F(R-G)及一第二滤波色差信号F(B-G)。图4是滤波装置130的方框图，其包含一第一中值滤波器(median filter)410、一第一低通滤波器420、一第二中值滤波器430及一第二低通滤波器440。

第一中值滤波器410将该第一色差信号(R-G)进行中值滤波处理。第一中值滤波器410的一端接收第一色差信号(R-G)，另一端接收一第一校正色差信号(Rc-Gc)。如图5A所示，第一中值滤波器410利用先前已做过彩色噪声消除处理的像素点的色差值(Rc-Gc)取代原来的色差值。第一中值滤波器410是将像素(i，j)及邻近像素的第一色差信号(R-G)及第一校正色差信号(Rc-Gc)由小到大排列。例如：像素(i，j)及邻近像素的第一色差信号(R-G)及第一校正色差信号(Rc-Gc)分别为{135、140、163、157、160、155、150、142、140}，经由该第一中值滤波器410处理后，则产生{135、140、140、142、150、155、157、160、163}。

第一低通滤波器420耦合至该第一中值滤波器410，将经中值滤波的信号进行低通滤波处理，产生第一滤波色差信号F(R-G)。第一低通滤波器420的系数可为 $\left[\begin{array}{ccc}0& 0& 1\\ 4& 6& 4\\ 1& 0& 0\end{array}\right]/16.$ 也就是，第一中值滤波器410处理后的结果{135、140、140、142、150、155、157、160、163}，再经过第一低通滤波器420处理，所产生第一滤波色差信号F(R-G)值为：

{140×1+142×4+150×6+155×4+157×1}/16。

第二中值滤波器430将该第二色差信号(B-G)进行中值滤波处理。如图5B所示，第二中值滤波器430利用先前已做过彩色噪声消除处理的像素点的色差值(Bc-Gc)取代原来的色差值。第二低通滤波器440耦合到该第二中值滤波器430，将经中值滤波的信号进行低通滤波处理，产生第二滤波色差信号F(B-G)。

图6A～6E是本发明中值滤波器执行过程的示意图。首先，在图6A中对行方向进行由小到大排列。例如，第二行{157、160、155}经过处理后为{155、157、160}。其次，在图6B中对列方向进行由小到大排列。例如，第一列{135、155、140}经过处理后为{135、140、155}。在图6C中将对角线方向元素进行由小到大排列。对角线{150、142、155}经过处理后为{142、150、155}。在图6D中对{Z²、Z³、Z⁴}及{Z⁶、Z⁷、Z⁸}进行由小到大排列。由于{140、140、142}及{155、157、160}均已经由小到大排列，因此没有变化。由于本发明低通滤波器的系数，故如图6E所示，仅需使用{Z⁴ _max、Z² _min、Z⁵ _median、Z⁸ _max、Z⁶ _min}。本发明的中值滤波器仅需执行27次的比较即可完成，远比已知中值滤波器需执行36次的比较更为迅速。

校正装置140耦合至该补点装置110及滤波装置130，依据该第一滤波色差信号F(R-G)、第二滤波色差信号F(B-G)及绿色信号，计算该像素(i，j)的校正红色信号(Rc)、校正绿色信号(Gc)及校正蓝色信号(Bc)。图7是校正装置140的方框图。其包含一第一加法器710及一第二加法器720。第一加法器710将该第一滤波色差信号F(R-G)及补点装置110所产生的绿色信号(G)相加，以产生该校正红色信号(Rc)。第二加法器720将该第二滤波色差信号F(B-G)及补点装置110所产生的绿色信号(G)相加，以产生该校正蓝色信号(Bc)。校正装置140直接依据补点装置110所产生的绿色信号(G)，产生像素(i，j)的校正绿色信号(Gc)。

更新装置150耦合至该校正装置140，接收校正蓝色信号(Bc)、校正红色信号(Rc)及校正绿色信号(Gc)，以产生该第一校正色差信号(Rc-Gc)及第二校正色差信号(Bc-Gc)。

本发明利用将影像信号转换到色差色域，并即时更新二维3×3中值滤波器中的色差像素值，亦即利用先前已执行过彩色噪声消除处理的像素点的色差值{(Rc-Gc)、(Bc-Gc)}取代原色差值。因此，在每3×3的范围中，使得9个色差像素值中有4个色差像素值已完成彩色噪声消除处理，对成簇的彩色噪声区块，提高中值滤波器过滤彩色噪声的能力。同时结合一低通滤波器，以进一步消除中值滤波器所过滤出的成簇彩色噪声不均匀的现象。

上述较佳具体实施例仅是为了方便说明而举例，本发明所主张的权利范围自应以权利要求所述为准，而非仅限于上述实施例。

Claims (15)

1、一种消除由内插产生的彩色噪声的方法，用于消除一数字影像中内插时所产生的彩色噪声，该方法包含下列步骤：

(A)接收该数字影像中的一像素及邻近像素；

(B)将该像素补点成具有红色、绿色及蓝色信号；

(C)依据该像素的红色、绿色及蓝色信号，产生一第一色差信号及一第二色差信号；

(D)依据该第一、第二色差信号、邻近像素点的第一色差信号及第二色差信号、邻近像素点的第一校正色差信号及一第二校正色差信号进行滤波处理，产生一第一及第二滤波色差信号；

(E)依据该第一、第二滤波色差信号及绿色信号，计算该像素的校正红色信号、校正绿色信号及校正蓝色信号；

(F)依据该像素的校正红色信号、校正绿色信号及校正蓝色信号，产生该第一校正色差信号及第二校正色差信号；以及

(G)重复上述步骤，直至处理完该数字影像的所有像素。

2、如权利要求1所述的方法，其中所述步骤(C)中的第一色差信号值为该像素的红色信号值减去绿色信号值。

3、如权利要求1所述的方法，其中所述步骤(C)中的第二色差信号值为该像素的蓝色信号值减去绿色信号值。

4、如权利要求1所述的方法，其中所述步骤(D)是将该第一色差信号进行中值滤波处理后，再进行低通滤波处理，以产生该第一滤波色差信号。

5、如权利要求1所述的方法，其中所述步骤(D)是将该第二色差信号进行中值滤波处理后，再进行低通滤波处理，以产生该第二滤波色差信号。

6、如权利要求1所述的方法，其中所述步骤(E)是将该第一滤波色差信号及绿色信号相加，以产生该校正红色信号。

7、如权利要求1所述的方法，其中所述步骤(E)是将该第二滤波色差信号及绿色信号相加，以产生该校正蓝色信号。

8、一种消除由内插产生的彩色噪声的系统，用于消除一数字影像中内插时所产生的彩色噪声，该系统包含：

一补点装置，其接收该数字影像中的一像素及邻近像素，将该像素补点成具有红色、绿色及蓝色信号；

一色差产生装置，耦合到该补点装置，依据该像素的红色、绿色及蓝色信号，产生一第一色差信号及一第二色差信号；

一滤波装置，耦合到该色差产生装置，以将该第一色差信号、第二色差信号、邻近像素点的第一色差信号及第二色差信号、邻近像素点的第一校正色差信号及一第二校正色差信号进行滤波处理，以产生一第一滤波色差信号及一第二滤波色差信号；

一校正装置，耦合到该补点装置及滤波装置，依据该第一滤波色差信号、第二滤波色差信号及绿色信号，计算该像素的校正红色信号、校正绿色信号及校正蓝色信号；以及

一更新装置，耦合到该校正装置，以产生该第一校正色差信号及第二校正色差信号。

9、如权利要求8所述的系统，其中所述色差产生装置包含一第一减法器，用于将该像素的红色信号值减去绿色信号值，产生该第一色差信号。

10、如权利要求8所述的系统，其中所述色差产生装置还包含一第二减法器，用于将该像素的蓝色信号值减去绿色信号值，产生该第二色差信号。

11、如权利要求8所述的系统，其中所述滤波装置还包含：

一第一中值滤波器，其将该第一色差信号进行中值滤波处理；以及

一第一低通滤波器，耦合到该第一中值滤波器，将经中值滤波的信号进行低通滤波处理，产生该第一滤波色差信号。

12、如权利要求11所述的系统，其中所述滤波装置还包含：

一第二中值滤波器，其将该第二色差信号进行中值滤波处理；以及

一第二低通滤波器，耦合到该第二中值滤波器，将经中值滤波的信号进行低通滤波处理，产生该第二滤波色差信号。

13、如权利要求9所述的系统，其中所述校正装置包含：

一第一加法器，其将该第一滤波色差信号及绿色信号相加，以产生该校正红色信号。

14、如权利要求9所述的系统，其中所述校正装置还包含：

一第二加法器，其将该第二滤波色差信号及绿色信号相加，以产生该校正蓝色信号。

15、如权利要求11或12所述的系统，其中所述中值滤波器为二维3×3中值滤波器。

Images