CN100505890C

CN100505890C - 彩色信号插值的系统及方法

Info

Publication number: CN100505890C
Application number: CNB2005100553265A
Authority: CN
Inventors: 吴政育
Original assignee: Sunplus Technology Co Ltd
Current assignee: ICatch Technology Inc
Priority date: 2005-03-15
Filing date: 2005-03-15
Publication date: 2009-06-24
Anticipated expiration: 2025-03-15
Also published as: CN1835598A

Abstract

本发明提出一种彩色信号插值的系统及方法，以对具有交互彩色样本的信号进行一绿色样本插值，该方法包含下列步骤：(A)提供该插值样本邻近的彩色样本；(B)计算该插值样本及邻近彩色样本的亮度值；(C)由步骤(B)的亮度值计算该插值样本处的边缘成分值；(D)判断该边缘成分值是否小于一预设的门槛值；(E)若判定该边缘成分值小于该预设的门槛值，则计算该插值样本邻近的相同颜色样本的平均值，并以该平均值作为该插值样本处的第一颜色输出值。

Description

彩色信号插值的系统及方法

技术领域

本发明涉及一种关于彩色信号插值的技术领域，尤指一种回复绿色的系统及方法。

背景技术

一彩色影像处理系统主要由一影像撷取单元、一影像还原及处理单元、一影像显示单元及一影像压缩单元所组成。影像撷取单元包含一影像感测装置及一彩色滤波数组(color filter array、CFA)。图1是一贝尔(bayer)型式的彩色滤波数组及插值的示意图，其排列的方式以一排GRGRGR，一排BGBGBG交互排列形成。彩色滤波数组使得每一感光单元(photosite)为仅获得红色、绿色或蓝色其中之一的色彩值。故需在影像还原及处理单元中，利用插值的方法为每一感光单元重建不存在的其它色彩值。

同时，影像传感器存在像素干涉(pixel cross-talk)现象。由于像素结构规划(pixel layout)与像素制作的半导体制程程序，而导致像素受光时的电荷产生与信号传输，会发生扩散至邻近像素的现象。根据观察与实验结果，横向的像素干涉现象较直向的像素干涉现象明显许多。以贝尔彩色滤片排列结构(bayercolor filter array)为例，红色像素与左右的绿色像素产生干涉现像，蓝色像素也与左右的绿色像素产生干涉现象。由于上述的像素干涉现象，既使在接收一样的光照条件之下，位于红色像素左右的绿色像素与位于蓝色像素左右的绿色像素将产生不一样的输出值。由于绿色感光单元的像素受相邻的红色像素及蓝色像素的影响，使其像素值存有误差成分。当使用插值方法还原各像素的红色、绿色及蓝色值时，在平坦区因绿色误差值会造成的显而易见的干扰现象。

针对上述问题，于美国第USP6,727,945号专利案公告中，由不同列的绿色感光单元的差值与一门槛值做比较，来判定一感光单元处是否为边缘(edge)区域，据以决定此感光单元处为原始反应值、内插产生值或平均值。然而，做为判断边缘的参考值是由影像感测装置所撷取的像素值来计算，该等像素值是在RGB领域，其所计算出的边缘代表性较低，因此较易产生分辨率降低的问题，同时不易改善因绿色误差值所造成的干扰现象(crosstalk)。故公知的彩色信号插值的系统及方法仍有予以改善的需求。

发明内容

本发明的目的是在提供一种彩色信号插值的系统及方法，以避免公知技术所产生分辨率降低的问题，同时改善因绿色误差值所造成的干扰现象。

依据本发明的一特色，是提出一种彩色信号插值方法，以对具有交互彩色样本的信号进行一第一颜色样本插值，该方法包含下列步骤：(A)提供一插值样本邻近的彩色样本；(B)使用该插值样本及其临近的彩色样本的R、G及B信号值，经由数字滤波运算以计算该插值样本及邻近彩色样本的亮度值；(C)由步骤(B)的亮度值计算该插值样本的水平边缘值及垂直边缘值，并将该水平边缘值与该垂直边缘值相加，进而得到该插值样本处的边缘成分值；(D)判断该边缘成分值是否小于一预设的门槛值；(E)若判定该边缘成分值小于该预设的门槛值，表示其相对应处是平坦区域，则计算该插值样本邻近的相同颜色样本的平均值，并以该插值样本临近的相同颜色样本的平均值作为该插值样本处的第一颜色输出值，否则，表示其相对应处是非平坦区域，则对该插值样本临近的相同颜色样本进行插值计算，进而作为该第一颜色输出值。

依据本发明的另一特色，是提出一种彩色信号插值系统，以对具有交互彩色样本的信号进行一第一颜色样本插值运算，该系统包含一感测装置、一线缓冲装置、一亮度计算装置、一边缘判断装置、一重建滤波装置、一平均装置、一选择装置。该感测装置提供该具有交互彩色样本的信号；该线缓冲装置耦合至该感测装置，以储存该信号的彩色样本；该亮度计算装置耦合至该线缓冲装置，用以计算一插值样本及其邻近彩色样本的亮度值，其中该亮度计算装置使用该插值样本及其临近彩色样本的R、G及B信号值，经由数字滤波运算其亮度值；该边缘判断装置耦合至该亮度计算装置，由该亮度值计算该插值样本的水平边缘值及垂直边缘值，并将该水平边缘值与该垂直边缘值相加，进而得到该插值样本处的边缘(edge)成分值，并判断该边缘成分值是否小于一预设的门槛值；该重建滤波装置耦合至该线缓冲装置，以对该插值样本进行插值计算，以产生一第一颜色的插值；该平均装置耦合至该线缓冲装置，以计算该插值样本邻近的相同颜色样本的平均值；该选择装置由一原来彩色样本、该第一颜色插值及该插值样本临近的相同颜色样本的平均值作为该插值样本处的第一颜色输出值；其中，当该边缘成分值小于该预设门槛值时表示其相对应处是平坦区域，选择该插值样本邻近的相同颜色样本的平均值作为该插值样本处的第一颜色输出值，否则，表示其相对应处是非平坦区域，则以该插值或该原来彩色样本作为该第一颜色输出值。

由于本发明设计新颖，能提供产业上利用，且确有增进功效，故依法申请发明专利。

附图说明

图1是一贝尔型式的彩色滤波数组及插值的示意图。

图2是本发明的彩色信号插值的系统的方块图。

图3A是一感光单元具有绿色时其邻近绿色像素的示意图。

图3B是一感光单元不具有绿色时其邻近绿色像素的示意图。

图4是本发明线缓冲装置储存资料的示意图。

图5是本发明选择装置的伪码的示意图。

图6是一富士胶卷微装置彩色滤波数组的示意图。

符号说明

感测装置 210 线缓冲装置 220

亮度计算装置 230 边缘判断装置 240

重建滤波装置 250 平均装置 260

选择装置 270 水平边缘计算装置 241

垂直边缘计算装置 242 加法器 243

比较器 244

具体实施方式

图2是本发明的彩色信号插值系统的方块图，以对具有交互彩色样本的信号进行一第一颜色(绿色)样本插值运算。本发明的彩色信号插值系统是先将像素由RGB领域转换至亮度领域，再计像素的边缘成分。由于在亮度领域进行边缘成分评估，故可精确判定欲处理的位置是否为平坦区域或含边缘的区域。该系统包含：一感测装置210、一线缓冲装置220、一亮度计算装置230、一边缘判断装置240、一重建滤波装置250、一平均装置260及一选择装置270。

该感测装置210提供该具有交互彩色样本的信号，其为具有贝尔(bayer)彩色滤波数组的感测装置。图3A是一感光单元(photosite)具有绿色时其邻近绿色像素的示意图，图3B是一感光单元不具有绿色时其邻近绿色像素的示意图。

线缓冲装置220耦合至该感测装置210，以储存该信号的彩色样本。于本实施例中，线缓冲装置220可为具有3条线的线缓冲装置，其储存资料如图4所示。

亮度计算装置230耦合至该线缓冲装置220，用以计算该插值样本及邻近彩色样本的亮度值。为配合线缓冲装置220，亮度计算装置230可为一3X3的滤波器，其系数为[1 2 1，2 4 2，1 2 1]，故图4中G6处的亮度值为1*G1+2*R2+1*G3+2*B5+4*G6+2*B7+1*G9+2*R10+1*G11，同理，图4中B7处的亮度值为1*R2+2*G3+1*R4+2*G6+4*B7+2*G8+1*R10+2*G11+1*R12。

边缘判断装置240耦合至该亮度计算装置230，由该亮度值计算该插值样本处的边缘(edge)成分值，并判断该边缘成分值是否小于一预设的门槛值Th。边缘判断装置240包含一水平边缘计算装置241、一垂直边缘计算装置242、一加法器243及一比较器244。

水平边缘计算装置241用以计算水平边缘值Eh，其可为一3X3的滤波器，系数为[1 2 1，0 0 0，-1 -2 -1]。当亮度计算装置230输出的亮度值为[Y1 Y2 Y3，Y4 Y5 Y6，Y7 Y8 Y9]时，水平边缘值Eh为1*Y1+2*Y2+1*Y3-(1*Y7+2*Y8+1*Y9)。水平边缘值Eh越小则代表对应处越平坦。垂直边缘计算装置242用以计算垂直边缘值Ev，其可为一3 X 3的滤波器，系数为[-1 0 1，-2 0 2，-10 1]。当亮度计算装置230输出的亮度值为[Y1 Y2 Y3，Y4 Y5 Y6，Y7 Y8 Y9]时，垂直边缘值Ev为-1*Y1+1*Y3-2*Y4+2*Y6-1*Y7+1*Y9。垂直边缘值Ev越小则代表对应处越平坦。

水平边缘值Eh及垂直边缘值Ev经由加法器243相加获得一边缘值E(或平坦值)。边缘值E与门槛值Th比较，边缘值若小于门槛值Th，表示对应处是平坦区域。

重建滤波装置250耦合至该线缓冲装置220，以对该插值样本(Gc、Gc’)进行插值计算，以产生一绿色的插值Gres。Gres可经由计算该插值样本处梯度值(Gradient)，取梯度值较小的方向的平均值产生。对于图3A的Gc处的梯度值为|G1-G4|及|G2-G3|，其插值Gres可为(G1+G4)/2或(G2+G3)/2。对于图3B的Gc’处的的梯度值为|G2-G4|及|G1-G3|，其插值Gres可为(G2+G4)/2或(G1+G3)/2。

平均装置260耦合至该线缓冲装置220，以计算该插值样本(Gc、Gc’)邻近的相同颜色样本的平均值avG。对于图3A的Gc处及图3B的Gc’处的平均值avG为(G1+G2+G3+G4)/4。由于使用平均值运算，故可将绿色感光单元的像素受相邻的红色像素及蓝色像素的影响降低，而减少干扰现象(crosstalk)。

选择装置270由一原来彩色样本Gc、该绿色插值Gres及该平均值avG择一作为该插值样本(Gc、Gc’)处的绿色输出值Go。对于图3B的Gc’处的情形，当该边缘成分值E小于该预设门槛值Th时，表示Gc’处是平坦区域，故选择该平均值avG作为该绿色输出值Go。当该边缘成分值E不小于该预设门槛值Th时，表示Gc’处可能为非平坦区域，故选择该插值Gres作为该绿色输出值Go。

对于图3A的Gc处的情形，当该边缘成分值E小于该预设门槛值Th时，表示Gc处是平坦区域，Gc处的绿色值应与邻近像素绿色值相近，故选择该平均值avG作为该绿色输出值Go。当该边缘成分值E不小于该预设门槛值Th时，表示Gc处可能为非平坦区域，故选择该Gc作为该绿色输出值Go。图5是该选择装置270的伪码，可轻易转换为Verilog、VHDL或SystemC等硬件描述语言。

本实施例中，感测装置210为具有贝尔(bayer)彩色滤波数组的感测装置，但也可使用如图6所是的富士胶卷微装置(Fuji film microdevice)彩色滤波数组的感测装置，此是为熟悉该技术者基于上述说明所能轻易完成。

相较于红色像素色彩值与蓝色像素色彩值，由于绿色像素色彩值含有较大成分的亮度值(luminance)，针对绿色色彩值所做的噪声衰减(noise reduction)就相对非常重要。本发明技术先将像素由RGB领域转换至亮度领域，再计像素的边缘成分。由于在亮度领域进行边缘成分评估，故可精确判定欲处理的位置是否为平坦区域或含边缘的区域。故本发明技术可避免公知技术所产生分辨率降低的问题，同时改善因绿色误差值所造成的干扰现象。

上述较佳具体实施例仅是为了方便说明而举例而已，本发明所主张的保护范围自应以权利要求所述为准，而非仅限于上述实施例。

Claims

1.一种彩色信号插值方法，以对具有交互彩色样本的信号进行一第一颜色样本插值，其特征在于：该方法包含下列步骤：

(A)提供一插值样本邻近的彩色样本；

(B)使用该插值样本及其临近的彩色样本的R、G及B信号值，经由数字滤波运算以计算该插值样本及邻近彩色样本的亮度值；

(C)由步骤(B)的亮度值计算该插值样本的水平边缘值及垂直边缘值，并将该水平边缘值与该垂直边缘值相加，进而得到该插值样本处的边缘成分值；

(D)判断该边缘成分值是否小于一预设的门槛值；

(E)若判定该边缘成分值小于该预设的门槛值，表示其相对应处是平坦区域，则计算该插值样本邻近的相同颜色样本的平均值，并以该插值样本临近的相同颜色样本的平均值作为该插值样本处的第一颜色输出值，否则，表示其相对应处是非平坦区域，则对该插值样本临近的相同颜色样本进行插值计算，进而作为该第一颜色输出值。

2.如权利要求1所述的方法，其特征在于：该步骤(C)是计算该插值样本的一水平边缘成分值及一垂直边缘成分值。

3.如权利要求2所述的方法，其特征在于：该步骤(D)的边缘成分值是该水平边缘成分值及该垂直边缘成分值之和。

4.如权利要求1所述的方法，其特征在于：该插值计算是计算该插值样本处的梯度值，并取梯度值较小的方向的平均值，作为该插值。

5.如权利要求1所述的方法，其特征在于：该第一颜色为绿色。

6.一种彩色信号插值系统，以对具有交互彩色样本的信号进行一第一颜色样本插值运算，其特征在于：该系统包含：

一感测装置，提供该具有交互彩色样本的信号；

一线缓冲装置，耦合至该感测装置，以储存该信号的彩色样本；

一亮度计算装置，耦合至该线缓冲装置，用以计算一插值样本及其邻近彩色样本的亮度值，其中该亮度计算装置使用该插值样本及其临近彩色样本的R、G及B信号值，经由数字滤波运算其亮度值；

一边缘判断装置，耦合至该亮度计算装置，由该亮度值计算该插值样本的水平边缘值及垂直边缘值，并将该水平边缘值与该垂直边缘值相加，进而得到该插值样本处的边缘成分值，并判断该边缘成分值是否小于一预设的门槛值；

一重建滤波装置，耦合至该线缓冲装置，以对该插值样本进行插值计算，以产生一第一颜色的插值；

一平均装置，耦合至该线缓冲装置，以计算该插值样本邻近的相同颜色样本的平均值；以及

一选择装置，由一原来彩色样本、该第一颜色插值及该插值样本临近的相同颜色样本的平均值择一作为该插值样本处的第一颜色输出值；

其中，当该边缘成分值小于该预设门槛值时，表示其相对应处是平坦区域，选择该插值样本邻近的相同颜色样本的平均值作为该插值样本处的第一颜色输出值，否则，表示其相对应处是非平坦区域，则以该插值或该原来彩色样本作为该第一颜色输出值。

7.如权利要求6所述的系统，其特征在于：该感测装置为贝尔数组型式的感测装置。

8.如权利要求6所述的系统，其特征在于：该感测装置为富士胶卷微装置型式的感测装置。

9.如权利要求6所述的系统，其特征在于：该亮度计算装置为一数字滤波器。

10.如权利要求6所述的系统，其特征在于：该边缘判断装置包含：

一水平边缘计算装置，耦合至该亮度计算装置，由该亮度值计算该插值样本处的该水平边缘值；

一垂直边缘计算装置，耦合至该亮度计算装置，由该亮度值计算该插值样本处的该垂直边缘值；

一加法器，耦合至该水平边缘计算装置及该垂直边缘计算装置，将该水平边缘值与该垂直边缘值相加，以输出该边缘成分值；以及

一比较器，耦合至该加法器，用以判断该边缘成分值是否小于该预设的门槛值。

11.如权利要求10所述的系统，其特征在于：该水平边缘计算装置为一数字滤波器。

12.如权利要求10所述的系统，其特征在于：该垂直边缘计算装置为一数字滤波器。