CN102625133B - 影像感测坏像素点的检测方法 - Google Patents

Abstract

本发明公开了一种影像感测坏像素点的检测方法。检视待检测像素值与多个邻近位置像素值的差异性。检视待检测像素值与多个邻近同色像素值在特定方向的连续性并得到特定方向。根据得到的特定方向，检视待检测像素值在该特定方向的平滑性。

Description

影像感测坏像素点的检测方法

技术领域

本发明涉及一种影像处理，特别是涉及一种影像感测坏像素点(badpixel)的检测方法。

背景技术

彩色影像的每一个像素可以使用含三颜色成分的向量来表示，例如使用可见光谱中的红、绿、蓝波段的光强度。为了降低尺寸大小及成本，在一般影像传感器中，针对每一个像素仅使用一个光滤波单元以撷取单一的色彩(chromatic)值。接着，再根据邻近相同颜色的像素值以内插方法来得到其它的色彩值。

图1示出影像传感器的感光元件(photosensor)阵列10，其上覆盖有彩色滤波阵列(CFA)12。彩色滤波阵列12的每一彩色滤波器(CF)仅能让一种颜色光受到相应感光元件的感测。由于彩色滤波阵列12的特殊嵌合(mosaic)图样(pattern)排列并非人眼一般所观看的完整图像，所以必须通过色彩内插以重建出人眼可观看的图像。因此，色彩内插一般又称为CFA内插、色彩重建或去嵌合(demosaicking)。

图1所示的彩色滤波阵列12为拜耳(Bayer)滤波器的一种，其普遍使用于数字相机或摄影机。拜耳滤波器的图样由红(R)、绿(G)、蓝(B)滤波器依图标规则排列，其含有50％绿(G)、25％红(R)、25％蓝(B)滤波器。每一像素点位置的其它颜色可由其四周像素点来得到。即使拜耳图案内插法在影像处理领域被普遍使用，然而其具有一些缺点，例如因色彩混迭(aliasing)现象造成高频细节的消失，甚至产生新频率而严重破坏影像。

此外，影像传感器通常会具有瑕疵的像素点或坏点。传统内插法无法有效分辨坏点与边缘(edge)影像，因此容易将边缘影像误判为坏点，或者将坏点误认为边缘影像。

因此亟需提出一种有效分辨坏点与边缘影像的方法，在补偿坏点时也能保留影像细节。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种影像感测坏点的检测方法，用以有效分辨坏点与边缘影像，因而得以正确地进行坏点校正或补偿。

根据本发明实施例，检视待检测像素值与多个邻近位置像素值的差异性。接着，检视待检测像素值与多个邻近同色像素值在特定方向的连续性并得到特定方向。最后，根据得到的特定方向，检视待检测像素值在该特定方向的平滑性。当该待检测像素值被判定为坏点时，还可根据坏点的多个邻近同色像素值以进行坏点的补偿。

附图说明

图1示出影像传感器的感光元件阵列及彩色滤波阵列。

图2示出本发明实施例的影像感测坏像素点检测方法的流程图。

图3A至图3D示出待检测像素值与邻近位置像素值。

图4示出图2的步骤21的细部流程图。

图5A至图5C示出待检测像素值与邻近同色像素值。

图6A及图6B示出水平方向增强权重、垂直方向增强权重、右上方向增强权重及左上方向增强权重。

图7示出图2的步骤22的细部流程图。

图8示出图2的步骤23的细部流程图。

图9示出当坏点为蓝色或红色时的补点流程。

图10示出当坏点为绿色时的补点流程。

图11示出绿色坏点像素值与邻近同色像素值。

【主要元件符号说明】

10感光元件阵列

12彩色滤波阵列

21-23   步骤

211-215 步骤

221-224 步骤

231-232 步骤

91-92   步骤

101-104 步骤

Nc      待检测像素/坏点

N0-N7   像素

R       红色

G       绿色

B       蓝色

具体实施方式

图2示出本发明实施例的影像感测坏像素点检测方法的流程图。本实施例可适用于各种影像传感器，例如互补式金属氧化物半导体(CMOS)影像传感器。在本实施例中，各像素点的感测影像值经由拜耳(Bayer)图案彩色滤波阵列所得到。若检测有坏像素点(简称“坏点”)，可进一步对坏点进行校正或补偿。经校正后的坏点像素值在输出后，可储存、显示或作进一步影像处理。

在步骤21，检视待检测像素值与邻近位置像素值的差异性，其中，邻近位置像素点可与待检测像素点分属不同颜色。在本实施例中，若以待检测像素点作为中心，则其与邻近位置像素点将形成3x3阵列，如图3A所示的蓝色(B)待检测像素值Nc与绿色(G)、红色(R)邻近位置像素值N0-N7。

图4示出步骤21的细部流程图。首先，在步骤211，取得待检测像素值Nc与垂直邻近位置像素值N1、N6平均值的差值，作为垂直邻近度量值BM1。其中，若该差值小于0，则令垂直邻近度量值BM1为0。本步骤211可表示如下：

BM1＝Nc-(N1+N6)/2如果BM1＜0则BM1＝0.

在步骤212，取得待检测像素值Nc与水平邻近位置像素值N3、N4平均值的差值，作为水平邻近度量值BM2。其中，若该差值小于0，则令水平邻近度量值BM2为0。本步骤212可表示如下：

BM2＝Nc-(N3+N4)/2如果BM2＜0则BM2＝0.

在步骤213，取得待检测像素值Nc与四个角落邻近位置像素值N0、N2、N5、N7平均值的差值，作为角落邻近度量值BM3。其中，若该差值小于0，则令角落邻近度量值BM3为0。本步骤213可表示如下：

BM3＝Nc-(N0+N2+N5+N7)/4如果BM3＜0则BM3＝0.

接着，在步骤214，根据垂直邻近度量值BM1、水平邻近度量值BM2及角落邻近度量值BM3，以得到综合邻近度量值BM4。其中，若该值大于待检测像素值Nc，则令综合邻近度量值BM4等于待检测像素值Nc。本步骤214可表示如下：

BM4＝(BM1+BM2)/2+BM3如果BM4＞Nc则BM4＝Nc.

最后，在步骤215，判定综合邻近度量值BM4与待检测像素值Nc的绝对差值是否小于邻近度量临界值B_TH。若判定为是，则待检测像素点可能为坏点。本步骤215可表示如下：

如果ABS(BM4-Nc)＜B_TH则Nc可能为坏点.

上述步骤211-215虽以待检测像素值Nc为蓝色(B)时作为说明，然而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图3B所示的红色(R)待检测像素值Nc与绿色(G)、蓝色(B)邻近位置像素值N0-N7。不同的地方仅在于将BM1-BM4置换为RM1-RM4，且B_TH置换为R_TH。

当待检测像素值Nc为绿色(G)时，如图3C或图3D所示，其中，图3C中的绿色待检测像素值Nc与蓝色水平相邻，而图3D中的绿色待检测像素值Nc则与红色水平相邻。对于图3C所示情形，需将BM1-BM4置换为GM1-GM4，B_TH置换为GB_TH，且步骤214可表示如下：

GM4＝GM 1+GM2+GM3如果GM4＞Nc则GM4＝Nc.

对于图3D所示情形，需将BM1-BM4置换为GM1-GM4，B_TH置换为GR_TH，且步骤214可表示如下：

GM4＝GM1+GM2+GM3如果GM4＞Nc则GM4＝Nc.

接下来，回到图2所示流程，在步骤22，检视待检测像素值与邻近同色像素值在特定方向的连续性(continuity)。本步骤22可减少或避免前一步骤21所造成的误判情形。举例来说，如果通过待检测像素值Nc存在斜向的亮线条，其经前一步骤21检视后，可能误判该待检测像素值Nc为坏点。通过执行本步骤22后，如果待检测像素值Nc具非连续性，则可能为坏点，否则就不是坏点。在本实施例中，若以待检测像素点作为中心，则其与邻近同色像素点将形成3x3阵列，如图5A所示的蓝色(B)待检测像素值Nc与邻近同色像素值D0-N7。

在本实施例中，特定方向指水平方向(H)、垂直方向(V)、右上方向(NE)及左上方向(NW)。为了检视特定方向的特性，本实施例使用增强权重对所欲检视方向增强其像素值。图6A分别示出水平方向增强权重(B_H)、垂直方向增强权重(B_V)、右上方向增强权重(B_NE)及左上方向增强权重(B_NW)。

图7示出步骤22的细部流程图。首先，在步骤221使用B_H对每一行像素值进行加权后，取其绝对和值。本步骤221可表示如下：

BH_1＝ABS[(-1)·D0+2·D3+(-1)·D5]；

BH_2＝ABS[(-1)·D1+2·Nc+(-1)·D6]；

BH_3＝ABS[(-1)·D2+2·D4+(-1)·D7].

接着，在步骤222，使用B_V对每一行的绝对和值进行加权后，取其绝对和值，作为水平方向的连续度量值B_H。至于垂直方向的连续度量值B_V、右上方向的连续度量值B_NE及左上方向的连续度量值B_NW，可依类似原则获得。本步骤222可表示如下：

B_H＝ABS[(-1)·BH_1+2·BH_2+(-1)·BH_3].

接着，在步骤223，取得水平方向的连续度量值B_H、垂直方向的连续度量值B_V、右上方向的连续度量值B_NE及左上方向的连续度量值B_NW当中的最大值或最小值，作为综合连续度量值B(X，Y)。

最后，在步骤224，判定综合连续度量值B(X，Y)是否大于连续度量临界值B_Line_TH。若判定为是，则待检测像素点具有非连续性。步骤223和224可表示如下：

B(X，Y)_max＝max(B_H，B_V，B_NE，B_NW)；

B(X，Y)_min＝min(B_H，B_V，B_NE，B_NW)；

B(X，Y)＝select_max_min？B(X，Y)_max:B(X，Y)_min；

如果B(X，Y)＞B_Line_TH则Nc具非连续性；

其中，变量select_max_min用以选择B(X，Y)_max或B(X，Y)_min。若选择B(X，Y)_min，一般可保留较多的影像细节，但较易误判。

上述步骤221-224虽以待检测像素值Nc为蓝色(B)时作为说明，然而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图5B所示的红色(R)待检测像素值Nc与邻近同色像素值D0-N7。不同的地方仅在于将各变量中的B置换为R。

虽然图5A也可适用于待检测像素值Nc为绿色(G)的情形，然而，由于绿色像素点的数量为蓝色或红色像素点的两倍，因此，可使用图5C所示的绿色(G)待检测像素值Nc与邻近同色像素值D0-N7。图6A所示的水平方向增强权重(B_H)、垂直方向增强权重(B_V)、右上方向增强权重(B_NE)及左上方向增强权重(B_NW)也可适用于待检测像素值Nc为绿色(B)的情形。此外，也可使用图6B所示的水平方向增强权重(G_H)、垂直方向增强权重(G_V)、右上方向增强权重(G_NE)及左上方向增强权重(G_NW)。

接下来，回到图2所示流程，在步骤23，根据前一步骤22所得到的特定方向，检视待检测像素值在该特定方向的平滑性。通过执行本步骤23后，如果待检测像素值Nc具非平滑性，则可确定为坏点，否则就不是坏点。

图8示出步骤23的细部流程图。首先，在步骤231运算得到各特定方向的边缘(edge)值。如前所述，本实施例的特定方向指水平方向(H)、垂直方向(V)、右上方向(NE)及左上方向(NW)。当待检测像素值Nc为蓝色(B)时，如图5A所示，各方向的边缘值可由以下各式得到：

V＝[ABS(Nc-D1)+ABS(Nc-D6)]/2；

H＝[ABS(Nc-D3)+ABS(Nc-D4)]/2；

NE[ABS(Nc-D2)+ABS(Nc-D5)]/2；

NW＝[ABS(Nc-D0)+ABS(Nc-D7)]/2.

接着，根据步骤22所得到的特定方向，在步骤232，判定该方向的边缘值是否大于临界值。在本实施例中，判定边缘值edge_value的一半是否大于边缘临界值B_edge_value_th。若判定为是，则待检测像素点具有非平滑性。步骤231-232可表示如下：

如果B(X，Y)＝B_H  则edge_value＝H；

否则如果B(X，Y)＝B_V 则edge_value＝V；

否则如果B(X，Y)＝B_NE则edge_value＝NE；

否则edge_value＝NW；

如果edge_value/2＞B_edge_value_th则Nc具非平滑性.

上述步骤231-232虽以待检测像素值Nc为蓝色(B)时作为说明，然而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图5B所示。不同的地方仅在于将各变量中的B置换为R。上述步骤231-232也可适用于待检测像素值Nc为绿色(G)的情形，如图5C所示。不同的地方仅在于将各变量中的B置换为G。

根据上述图2所示流程，若能符合步骤21至23的各种判定，即能判定待检测像素值Nc为坏点。当其被判定为坏点时，接下来可以对坏点像素值进行校正或补偿(简称“补点”)。在本实施例中，根据坏点的邻近同色像素值以进行坏点的补偿。

图9示出当坏点Nc为蓝色(如图5A所示)或者为红色(如图5B所示)时的补点流程。首先，在步骤91，将八个邻近同色像素值D0-D7进行排序，以得到最大值。接着，在步骤92，根据该最大值，将距离该最大值较远的五个邻近同色像素值，连同坏点的像素值Nc进行加权平均，以得到坏点的补偿值。例如，当D0为最大值时，则五个邻近同色像素值即为D2、D5、D4、D6、D7；当D1为最大值时，则五个邻近同色像素值即为D3、D4、D5、D6、D7。在一实施例中，坏点的权重为3/8，而五个邻近同色像素点的权重皆为1/8。在另一实施例中，坏点的权重为1/16，而五个邻近同色像素点的权重皆为3/16。

图10示出当坏点Nc为绿色时的补点流程。图11示出绿色(G)坏点像素值Nc与邻近同色像素值N0-N7。首先，在步骤101，将四个距坏点Nc最近的同色像素值D0-D3进行排序，以得到排序最小值min1_g，可表示如下：

min1_g＝sorting(D0-D3).

在步骤102，对前述四个距坏点Nc最近的同色像素值D0-D3进行运算，以得到最近像素平均值avg_g，可表示如下：

avg_g＝avg(D0-D3).

在步骤103，得到四个距坏点Nc最近的同色像素值D0-D3连同坏点Nc的平均中值(median)，且得到四个距坏点Nc次近的同色像素值D4-D7连同坏点Nc的平均中值。接着，取得此二平均中值的平均值median_g。

最后，在步骤104，根据上述步骤101-103所得到的部分统计值，以得到该坏点的补偿值。在一实施例中，坏点的补偿值等于平均中值的平均值median_g以及排序最小值min1_g两者的平均值，亦即avg(media_g，min1_g)。在另一实施例中，坏点的补偿值等于最近像素平均值avg_g以及排序最小值min1_g两者的平均值，亦即avg(avg_g，min1_g)。在又一实施例中，坏点的补偿值等于排序最小值min1_g；或等于平均中值的平均值median_g；或等于最近像素平均值avg_g。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或变型，均应包括在所附权利要求的范围内。

Claims (12)

1.一种影像感测坏像素点的检测方法，包括：

检视待检测像素值与多个邻近位置像素值的差异性；

检视所述待检测像素值与多个邻近同色像素值在特定方向的连续性并得到特定方向；及

根据得到的所述特定方向，检视所述待检测像素值在所述特定方向的平滑性，

其中上述连续性的检视步骤包括：使用增强权重对所欲检视的特定方向增强其像素值；

当所述待检测像素值与所述邻近位置像素值具差异性，所述待检测像素值与所述邻近同色像素值在特定方向具非连续性，且所述待检测像素值在所述特定方向具非平滑性，则判定所述待检测像素值为坏点。

2.如权利要求1所述的影像感测坏像素点的检测方法，其中至少部分所述邻近位置像素点与所述待检测像素点分属不同颜色。

3.如权利要求1所述的影像感测坏像素点的检测方法，其中上述的待检测像素点作为中心，其与所述邻近位置像素点形成3x3阵列。

4.如权利要求1所述的影像感测坏像素点的检测方法，其中上述差异性的检视步骤包括：

取得所述待检测像素值与所述多个邻近位置像素值中的垂直邻近位置像素值的平均值的差值，作为垂直邻近度量值；

取得所述待检测像素值与所述多个邻近位置像素值中的水平邻近位置像素值的平均值的差值，作为水平邻近度量值；

取得所述待检测像素值与所述多个邻近位置像素值中的四个角落邻近位置像素值的平均值的差值，作为角落邻近度量值；

根据所述垂直邻近度量值、所述水平邻近度量值及所述角落邻近度量值，以得到综合邻近度量值；及

判定所述综合邻近度量值与所述待检测像素值的绝对差值是否小于邻近度量临界值，若判定为是，则所述待检测像素点可能为坏点，

其中如果所述待检测像素值为蓝色，则综合邻近度量值BM4＝(BM1+BM2)/2+BM3，其中BM1为垂直邻近度量值、BM2为水平邻近度量值及BM3为角落邻近度量值；如果所述待检测像素值为红色，则综合邻近度量值RM4＝(RM1+RM2)/2+RM3，其中RM1为垂直邻近度量值、RM2为水平邻近度量值及RM3为角落邻近度量值；如果待检测像素值为绿色，则综合邻近度量值GM4＝GM1+GM2+GM3，其中，GM1为垂直邻近度量值、GM2为水平邻近度量值及GM3为角落邻近度量值。

5.如权利要求4所述的影像感测坏像素点的检测方法，还包括：

若所述待检测像素值与所述垂直邻近位置像素值的平均值的差值小于0，则令所述垂直邻近度量值为0；

若所述待检测像素值与所述水平邻近位置像素值的平均值的差值小于0，则令所述水平邻近度量值为0；

若所述待检测像素值与所述四个角落邻近位置像素值的平均值的差值小于0，则令所述角落邻近度量值为0；及

若所述综合邻近度量值大于所述待检测像素值，则令所述综合邻近度量值等于所述待检测像素值。

6.如权利要求1所述的影像感测坏像素点的检测方法，其中上述的待检测像素点作为中心，其与所述邻近同色像素点形成3x3阵列。

7.如权利要求1所述的影像感测坏像素点的检测方法，其中上述的特定方向包括水平方向、垂直方向、右上方向及左上方向。

8.如权利要求1所述的影像感测坏像素点的检测方法，其中上述连续性的检视步骤包括：

对每一行像素值进行加权后，取其绝对和值；

对每一行的所述绝对和值进行加权后，取其绝对和值，取得水平方向的连续度量值、垂直方向的连续度量值、右上方向的连续度量值及左上方向的连续度量值；

取得所述水平方向的连续度量值、所述垂直方向的连续度量值、所述右上方向的连续度量值及所述左上方向的连续度量值当中的最大值或最小值，作为综合连续度量值；及

判定所述综合连续度量值是否大于连续度量临界值，若判定为是，则所述待检测像素点具有非连续性。

9.如权利要求1所述的影像感测坏像素点的检测方法，其中上述平滑性的检视步骤包括：

得到各所述特定方向的边缘值；及

判定所述特定方向的边缘值是否大于临界值，若判定为是，则所述待检测像素点具有非平滑性。

10.如权利要求1所述的影像感测坏像素点的检测方法，还包括：

根据所述坏点的多个邻近同色像素值以进行坏点的补偿。

11.如权利要求10所述的影像感测坏像素点的检测方法，当所述坏点为蓝色或红色时，所述坏点的补偿步骤包括：

将多个邻近同色像素值进行排序，以得到排序最大值；及

根据所述排序最大值，将距离所述排序最大值较远的所述多个邻近同色像素值，连同所述坏点的像素值进行加权平均，以得到所述坏点的补偿值。

12.如权利要求10所述的影像感测坏像素点的检测方法，当所述坏点为绿色时，所述坏点的补偿步骤包括：

将距所述坏点最近的多个同色像素值进行排序，以得到排序最小值；

对距所述坏点最近的所述同色像素值进行运算，以得到最近像素平均值；

得到距所述坏点最近的多个同色像素值连同所述坏点的第一平均中值，且得到距所述坏点次近的多个同色像素值连同所述坏点的第二平均中值，再取得所述第一和第二平均中值的平均值；及

根据所述排序最小值、所述最近像素平均值、所述第一和第二平均中值的平均值的部分，以得到所述坏点的补偿值。