CN101060643A - 一种用于数字摄像的自适应坏点去除方法 - Google Patents

Abstract

本发明涉及一种用于数字摄像的自适应坏点去除方法，该自适应坏点去除方法包括：输入原始数据，以内插方法确定预检测象素周围的相邻异色象素处的内插象素；根据内插象素与内插象素相邻的非相关同色象素之间的差值确定自适应阈值；根据内插象素以及由自适应阈值与系统阈值求和获得的总阈值确定预检测象素是否为坏点。本方法通过利用相邻象素的相关性自适应产生的阈值和系统阈值可以准确检测出原始数据的坏点，其算法相对简单、准确性高。

Description

一种用于数字摄像的自适应坏点去除方法

【技术领域】

本发明涉及一种用于数字摄像的自适应坏点去除方法，尤其涉及一种基于利用相邻象素的相关性确定的自适应阈值对数字摄像头坏点进行去除的方法。

【背景技术】

数字摄像头主要分为两种：电荷耦合器件(charge coupled devices，CCD)和互补金属氧化物主动式像素传感器(complimentary metal oxidesemiconductor-active pixel sensors，CMOS)两种。这两种摄像头都包含一个感光阵列，通过这个感光阵列，摄像头才能采集图像。感光阵列中每一个传感器都对应图像的一个像素，收集每个像素一个或者多个波长光线的强度，从而对应采集一种或者多种颜色。

另外每一种摄像头都包含一个彩色滤波阵列(color filter array)，比如美国第3,971,065号专利所描述的拜尔模式(Bayer pattern)。在Bayer模式的中，每一个传感器只能采集到一种波长的光，对应的颜色分别为红色、蓝色或者绿色(如图1所示)。为了得到每一个像素点的三个颜色分量，必须通过邻近的点通过内插的方式得到，内插的方式有很多种，比如拷贝法，双线性插值法以及后来的一些自适应方法等。

为了使得通过内插后能得到质量比较好的图像，摄像头收集的数据(原始数据)必须要精确。然而，尽管制造工艺在不断的完善，摄像头的生产还是不可避免地存在一些具有缺陷的象素，造成这些缺陷有可能是生产的失误，也有可能只是一个污点，最终都会导致摄像头收集到的数据不精确。摄像头的坏点可以通过跟周围的同颜色的点进行比较来确认，一旦确认坏点，就要用周围的点内插出来的点来代替坏点。

在业界已有的一些去除坏点的方法：

1.通过同一幅图像中同一行的象素点内插出当前的像素点的值y’并与当前的像素点y的值进行比较，找出坏点。

2.对5×5的原始图像块进行处理，找出这个块中跟中心点同种颜色的色素点的最大值ymax跟最小值ymin，判断中心点是不是在[ymax+T，ymin-T]的范围内，其中T为系统输入的固定阈值。

方法1实现起来比较简单方便，但是因为没有比较竖直方向的相邻象素的值，从而很容易抹掉图像中垂直的线。方法2则最多要从12个值中比较得到最大值和最小值，计算比较复杂，而且当中间的象素点是一个亮点或者暗点的时候容易被抹去。

【发明内容】

为了解决现有技术的坏点去除方法容易将图像中的正确象素作为坏点抹去的技术问题。本发明提出了一种基于利用相邻象素的相关性确定的自适应阈值对数字摄像头坏点进行去除的方法。

本发明解决现有技术的坏点去除方法容易将图像中的正确象素作为坏点抹去的技术问题所采用的技术方案是：提供一种用于数字摄像的自适应坏点去除方法，该方法包括：a.输入原始数据，以内插方法确定预检测象素周围的相邻异色象素处的内插象素；b.根据内插象素与内插象素相邻的非相关同色象素之间的差值确定自适应阈值；c.根据内插象素以及由自适应阈值与系统阈值求和获得的总阈值确定预检测象素是否为坏点。

根据本发明一优选实施例，在步骤a中包括输入以预检测象素为中心的5×5象素阵列。

根据本发明一优选实施例，象素阵列为拜尔模式。

根据本发明一优选实施例，在步骤a中，当预检测象素为红色或蓝色时，根据预检测象素的水平和垂直方向上最近的同色象素确定预检测象素周围对角方向上的相邻异色象素处的内插象素。

根据本发明一优选实施例，在步骤b中，计算内插象素和对角方向上相邻的同色象素的绝对差值并将绝对差值的最大值作为自适应阈值。

根据本发明一优选实施例，在步骤a中，当预检测象素为绿色时，根据预检测象素的对角方向上最近的同色象素确定预检测象素周围水平和垂直方向上的相邻异色象素处的内插象素。

根据本发明一优选实施例，在步骤b中，计算内插象素和水平或垂直方向上相邻的非相关同色象素的绝对差值并将绝对差值的最大值作为自适应阈值。

根据本发明一优选实施例，在步骤c中，将预检测象素与内线象素中的最大内插象素值与总阈值的求和值进行比较，当预检测象素大于最大内插象素值与总阈值的求和值时，预检测象素为坏点并利用最大内插象素值与总阈值的求和值代替预检测象素输出。

根据本发明一优选实施例，在步骤c中，将预检测象素与内线象素中的最小内插象素值与总阈值的差值进行比较，当预检测象素小于最小内插象素值与总阈值的差值时，预检测象素为坏点并利用最小内插象素值与总阈值的差值代替预检测象素输出。

根据本发明一优选实施例，在步骤a中，利用线性内插方法确定内插象素。

上述技术方案的有益效果是：通过利用相邻象素的相关性自适应产生的阈值和系统阈值可以准确检测出原始数据的坏点，其算法相对简单、准确性高。

【附图说明】

图1是本发明所使用的Bayer模式数据的示意图；

图2是中心象素为红色的5×5块的原始数据；

图3是中心象素为蓝色的5×5块的原始数据；

图4是中心象素为绿色而其左右相邻象素为蓝色的5×5块的原始数据；

图5是中心象素为绿色而其左右相邻象素为红色的5×5块的原始数据；

图6是中心点为红色的5×5块的内插操作及自适应阈值计算的示意图；

图7是中心点为绿色且左右两边为蓝色的5×5块的内插操作及自适应阈值计算的示意图；

图8为实现本发明的自适应坏点去除方法的系统流水线架构图。

【具体实施方式】

下面结合附图和实施例对本发明进一步说明。

如图1所示，是本发明所使用的模式数据的示意图。由于在Bayer模式下，绿色象素的数量为红色和蓝色象素的和，因而红色和蓝色象素至少要相隔一个绿色象素。根据图像中像素的相关性，离得越近的象素，相关性越强，对于坏点去除的参考意义越大。所以下文所述的坏点去除方法中，判断坏点的参考象素选用5×5单元中内插出来的象素作为参考点，内插的方法有很多，可以选用双线性内插等内插方法。

如图2-图5所示，对于Bayer模式来说，5×5的子块有四种组成方式，分别为：红色象素为中心(如图2)、蓝色象素为中心(如图3)、绿色象素为中心且左右为红色象素(如图4)、绿色象素为中心且左右为蓝色象素(如图5)。

当5×5子块中中心象素为红色的时候(如图2)所示，中心象素R22的左上、右上、左下、右下四个方向的点都为蓝色象素，分别为B11、B13、B31、B33。通过内插的方法在这四个蓝色点的位置内插出红色的分量(如图6)所示，本实施例中用的是线性内插法，也可以用其他的方法。

                        R11＝(R02+R20)/2

                        R13＝(R02+R24)/2

                        R31＝(R20+R42)/2

                        R33＝(R24+R42)/2

根据像素点之间的关联性，可以认为|R00-R11|近似等于|R11-R22|，同样的道理R22、R04和R13，R22、R31和R40以及R22、R33和R44有同样的关系，根据这种关系可以算出R22相对于R11、R13、R31、R33的自适应阈值ThR，如下：

                         T1＝|R00-R11|

                         T2＝|R40-R31|

                         T3＝|R04-R13|

                         T4＝|R33-R44|

                         ThR＝max(T1，T2，T3，T4)

自适应的阈值ThR跟系统阈值Ts相加就可以得到总的阈值T＝ThR+Ts，其中Ts可以是一个固定值，也可以根据不同的模式查表得到，也可以根据系统输入设置，因为知道噪声点跟温度以及环境光的强弱都有关系。

如果中心象素R22＞max(R11，R13，R31，R33)+T，则认为中心象素R22为坏点，输出R22′＝(max(R11，R13，R31，R33)+T)，另外，如果R22＜min(R11，R13，R31，R33)-T，则也认为R22为坏点，输出为R22′＝(min(R11，R13，R31，R33)-T)，如果不属于上面两种情况则我们认为R22为正常的点，直接输出R22′＝R22。

当5×5子块中心象素为蓝色的时候(如图3所示)，可以根据与上述步骤类似的过程确定中心象素是否为坏点，并根据判断结果对其进行纠正或直接输出。

当5×5子块中心象素为绿色且中心点左右像素为蓝色时(如图4)。中心象素的上、下、左、右四点为红点或者蓝点，分别为B21、B23、R12、R32。通过内插的方法在这些位置上得到这些像素的绿色分量(如图7)所示，本实施例中采用线性内插法，也可以用其他的方法。

                        G12＝(G11+G13)/2

                        G21＝(G11+G31)/2

                        G31＝(G13+G33)/2

                        G32＝(G31+G33)/2

根据像素点之间的关联性，可以认为|G20-G21|近似等于|G21-G22|，同样的道理G22、G02和G12，G22、G23和G24以及G22、G32和G42有同样的关系，根据这种关系我们可以算出G22相对于G21、G12、G23、G32的自适应阈值ThG，如下：

                          T5＝|G30-G31|

                          T6＝|G23-G24|

                          T7＝|G02-G12|

                          T8＝|G32-G42|

                          ThG＝max(T5，T6，T7，T8)

自适应的阈值ThG跟系统阈值Ts相加就可以得到总的阈值T＝ThG+Ts，其中Ts可以是一个固定值，也可以根据不同的模式查表得到，也可以根据系统输入设置，因为噪声点跟温度以及环境光的强弱都有关系。

如果G22＞max(G12，G21，G23，G32)+T则认为中心象素点G22为坏点，输出为G22′＝(max(G12，G21，G23，G32)+T)，如果G22＜min(G12，G21，G23，G32)-T，则认为G22为坏点，输出为G22′＝(min(G12，G21，G23，G32)-T)，如果不属于上面两种情况则我们认为G22为正常象素，直接输出G22′＝G22。

当5×5子块中心象素为绿色且中心点左右像素为红色的时候(如图5)。可以根据与上述步骤类似过程确定中心像素是否为坏点，并根据判断结果对其进行纠正或者直接输出。

如图8所示，图8为实现本发明的自适应坏点去除方法的系统流水线架构图。系统的输入为一列五个像素值，内部采用5×6×n的寄存器阵列来寄存输入的值，其中n为每个像素的比特数，输入数据每个循环输入5个像素，内部的寄存器作相应的移位。因为5×5的子块的四种情况中，中心点为红色或者蓝色的时候计算完全一样，而中心点为绿色的两种情况计算也是完全一样的，所以系统的计算单元我们有两条三级的流水线。当完成5列的输入后，插值模块1和插值模块2开始得到有效的数据，在第二拍，阈值产生模块1和阈值产生模块2分别接收到插值模块1和插值模块2的有效数据的同时从寄存器阵列中取相应的值计算出两个阈值，在第三拍，比较输出模块1和比较输出模块2分别根据插值模块1、插值模块2、阈值产生模块1、阈值产生模块2得到的结果进行判定并输出，从而整体形成流水线结构。整个系统由两条三级流水线组成，对应于图10中的通路一和通路二，分别对应于计算中心为R、B或者中心为G的5×5的子块。输出控制模块可以判断最开始的输入情况依次分别把通路一和通路二中得到的数据进行输出。

本发明提出的坏点去除算法在准确性以及复杂性方面相对于其他的算法有较大的改善，同时我们又用了流水线结构，符合摄像头系统的实时性要求，平均可以一个循环一个像素输出，适用于目前广泛使用的数码拍摄设备。

上述的详细描述仅是示范性描述，本领域技术人员在不脱离本发明所保护的范围和精神的情况下，可根据不同的实际需要设计出各种实施方式。

Claims (10)

1.一种用于数字摄像的自适应坏点去除方法，其特征在于：所述方法包括：

a.输入原始数据，以内插方法确定预检测象素周围的相邻异色象素处的内插象素；

b.根据所述内插象素与所述内插象素相邻的非相关同色象素之间的差值确定自适应阈值；

c.根据所述内插象素以及由所述自适应阈值与系统阈值求和获得的总阈值确定所述预检测象素是否为坏点。

2.根据权利要求1所述的自适应坏点去除方法，其特征在于：在所述步骤a中包括输入以所述预检测象素为中心的5×5象素阵列。

3.根据权利要求1所述的自适应坏点去除方法，其特征在于：所述象素阵列为拜尔模式。

4.根据权利要求3所述的自适应坏点去除方法，其特征在于：在所述步骤a中，当所述预检测象素为红色或蓝色时，根据所述预检测象素的水平和垂直方向上最近的同色象素确定所述预检测象素周围对角方向上的相邻异色象素处的内插象素。

5.根据权利要求4所述的自适应坏点去除方法，其特征在于：在所述步骤b中，计算所述内插象素和对角方向上相邻的非相关同色象素的绝对差值并将所述绝对差值的最大值作为所述自适应阈值。

6.根据权利要求3所述的自适应坏点去除方法，其特征在于：在所述步骤a中，当所述预检测象素为绿色时，根据所述预检测象素的对角方向上最近的同色象素确定所述预检测象素周围水平和垂直方向上的相邻异色象素处的内插象素。

7.根据权利要求6所述的自适应坏点去除方法，其特征在于：在所述步骤b中，计算所述内插象素和水平或垂直方向上相邻的非相关同色象素的绝对差值并将所述绝对差值的最大值作为所述自适应阈值。

8.根据上述权利要求任意一项所述的自适应坏点去除方法，其特征在于：在所述步骤c中，将所述预检测象素与所述内线象素中的最大内插象素值与所述总阈值的求和值进行比较，当所述预检测象素大于所述最大内插象素值与所述总阈值的求和值时，所述预检测象素为坏点并利用所述最大内插象素值与所述总阈值的求和值代替所述预检测象素输出。

9.根据权利要求8所述的自适应坏点去除方法，其特征在于：在所述步骤c中，将所述预检测象素与所述内线象素中的最小内插象素值与所述总阈值的差值进行比较，当所述预检测象素小于所述最小内插象素值与所述总阈值的差值时，所述预检测象素为坏点并利用最小内插象素值与所述总阈值的差值代替所述预检测象素输出。

10.根据权利要求9所述的自适应坏点去除方法，其特征在于：在所述步骤a中，利用线性内插方法确定所述内插象素。

Images