CN101212703A - 影像坏点像素实时检测方法 - Google Patents

Abstract

本发明公开了一种影像坏点像素实时检测方法，应用于数字相机中，用以于数字相机取得影像时，对于影像中所存在的坏点像素进行实时检测，以找出需要修复的像素。通过实时检测，可以减少以往在数字相机生产在线必须花费在坏点校正程序上的生产人力与工时，也可以减少数字相机储存坏点像素信息所占用的大量储存空间；更重要的是在检测过程中，能够因应影像的不同属性而动态调整阈值来判断坏点像素，能够更准确掌握坏点像素可能发生的情况达到辅助提升影像质量的效果。

Description

影像坏点像素实时检测方法

技术领域

本发明涉及一种影像坏点像素检测方法，应用于数字相机的影像处理上，尤其涉及一种可利用动态阈值进行影像中坏点像素实时判断的方法。

背景技术

目前数字相机的生产过程中，都会有所谓的[坏点校正程序]，即对于数字相机的影像感测元件(如：CCD或者CMOS)所取得的影像进行坏点像素的检测校正，通过一些坏点像素的判断逻辑找出影像感测元件中可能存在的坏点像素位置所在，并将其记录在数字相机的储存媒体中，以便在数字相机拍摄影像时，可以让数字相机中的其它影像处理程序根据这些记录的信息来校正(或者称为修复)影像中的坏点像素，借此提升整体影像质量。

此种现有技术，属于非实时的坏点像素检测校正机制，其主要是在数字相机出厂前对于影像感测元件所存在容易产生坏点像素的先天缺陷进行预先的检测，以便在后续使用数字相机进行拍摄影像时，可以提供后天补救的影像修复程序。但此种方式往往会造成数字相机生产在线花费大量的人力与工时；并且检测出来的坏点像素信息还必须占用数字相机中的内建储存媒体空间，尤其对于一些低阶的数字相机而言，任何一点的储存空间都是非常宝贵的；并且随着数字相机出厂时间的增长影像感测元件可能也会伴随着产生一定的元件耗损情况，而使得数字相机因为使用时间的因素而产生其它新的坏点像素，造成原先出厂时所记录的坏点像素信息已经不符实际情况。

但是，事实上目前数字相机本身所提供的影像处理能力已经越来越强大，因此对于坏点像素的检测与修复问题其实可以通过实时的方式来进行，如中国台湾专利第I228237号专利，其中已经揭露一种可以进行实时坏点像素的检测与修复，特别是关于检测的部分，该案中为了节省影像处理时间并简化坏点像素的检测程序，主要揭露是以待测像素的两侧相邻像素(共三个像素)作为判断逻辑的取样像素，根据待测像素与两侧相邻像素的灰阶差值的关联运算以及固定阈值的条件，来作为判断待测像素是否为坏点像素的目的。

此种方式，虽然可以达到节省时间及简化程序的目的，但是其在判断坏点像素的精确度上有其缺失。以图1A来说，当影像在中间垂直方向呈现一条同色线段时，理论上中间列的各像素灰阶值如图所示会相同(均为灰阶值200)，此时若采取中国台湾专利第I228237号专利的做法，则中间列的中间像素为待测像素(灰阶值为200)及两侧的相邻像素(均为灰阶值50)将构成取样像素10，根据其判断逻辑将会使中间像素被误判为是坏点像素，以致于经过补偿修复后成为灰阶值50的像素，此时中间垂直方向的同色线段将会产生中断的现象，此并非预期的结果；再以图1B为例，同样假设中间列为取样像素10，则若假设中间列的中间像素(即待测像素)为坏点像素时，若此时两侧的相邻像素与待测像素是属同色像素时(如图中所示右测像素灰阶值也为200)，则此时通过中国台湾专利第I228237号专利的做法，则很可能无法将中间像素给检测出来，因此也无法对其进行补偿修复，此也非预期得到的结果。

因此，前述的现有技术很容易对坏点像素产生误判或者忽略的情况，另外，由于是采取固定阈值的方式来进行坏点像素的判断，因此对于影像本身所存在的属性差异并无法有效的列入考虑进行坏点像素的检测，所以整体来说并无法很有效的将坏点像素给检测出来加以修复，也因此无法很有效达到提升影像质量的效果。

因此，目前数字相机在生产在线必须花费在坏点像素检测与修复的人力与工时过多且必须占用储存媒体空间，以及现有实时坏点像素检测与修复技术手段中容易产生误判或者忽略的情况，且并未能充分考虑影像属性的问题。

发明内容

本发明所要解决的技术问题在于提供一种影像坏点像素实时检测方法，以解决目前数字相机在生产在线必须花费在坏点像素检测与修复的人力与工时过多且必须占用储存媒体空间的问题，以及解决现有技术中实时坏点像素检测与修复技术手段中容易产生误判或者忽略的情况，且并未能充分考虑影像属性的问题，

为实现上述目的，本发明提供一种影像坏点像素实时检测方法，主要针对数字相机在取得影像后如何实时进行影像坏点像素检测的部分提出下列方法：当数字相机取得外部的影像时，依序自影像中选取待测像素及其周边相邻像素组进行坏点像素检测直到所有可检测像素全部检测完毕为止，针对每个待测像素将执行下列步骤：

(1)找出相邻像素组中第一像素与第二像素并计算其灰阶差值；

(2)计算相邻像素组中除第一像素与第二像素以外其余像素的灰阶均值；

(3)设定灰阶均值及灰阶差值的和为高灰阶阈，并以灰阶均值与灰阶差值的差为低灰阶阈；

(4)当确认待测像素的灰阶值落于高灰阶阈及低灰阶阈之外时，设定待测像素为坏点像素。

根据在二维3*3影像矩阵中待测像素与相邻像素组之间的灰阶值关联运算，可以实时检测出待测像素是否为坏点像素，由于是实时检测所以可以改善现有技术在生产在线进行类似程序所产生的耗费人力工时及占用储存空间的问题，另外由于对于不同待测像素使用不同相邻像素组来作为检测参考依据，所以可以改善现有技术中固定阈值以及误判和忽略的情况，产生应用本发明方法的突出功效。

有关本发明的特征与实作，兹配合图示作最佳实施例详细说明如下。

附图说明

图1A及图1B是先前技术所产生坏点像素检测问题的示意图；

图2为本发明方法流程图；

图3A为本发明待测像素及相邻像素组相对位置示意图；

图3B为本发明待测像素及相邻像素组对应灰阶值相对位置示意图。

其中，附图标记：

10：取样像素

20：影像矩阵

21：待测像素

30：影像灰阶值矩阵

31：待测像素灰阶值

步骤100取得外部的一影像

步骤110依序选取该影像中一待测像素及其周边一相邻像素组

步骤120找出该相邻像素组中一第一像素与一第二像素计算一灰阶差值

步骤130计算该相邻像素组中其余像素的一灰阶均值

步骤140以该灰阶均值及该灰阶差值的和为一高灰阶阈以该灰阶均值与该灰阶差值的差为一低灰阶阈

步骤150该待测像素的灰阶值落于该高灰阶阈及该低灰阶阈之间？

步骤160设定该待测像素为正常像素

步骤170设定该待测像素为坏点像素

步骤180仍有该待测像素？

具体实施方式

本发明所提出的影像坏点像素实时检测方法，主要是应用在数字相机的影像处理上，整体方法的步骤流程，请参考图2的部分进一步说明如下：

首先，必须通过数字相机的影像感测元件(如：CCD或CMOS)取得外部的影像(步骤100)，取得的影像中各像素基本上会以影像矩阵的方式来排列并暂存于数字相机的内建储存媒体(如：闪存)中，等待进行后续的影像坏点像素实时检测处理程序。

此时，本发明会依照影像矩阵中各像素的排列顺序依序选取出待测像素及其周边的相邻像素组来执行坏点像素检测(步骤110)。这里需要说明的是，本发明在较佳实施例中是基于二维的3*3影像矩阵20(请参考图3A)来进行所谓的坏点像素检测(但并不以3*3影像矩阵20大小作为限定)，因此待测像素21以及相邻像素组两者结合后将构成一个3*3影像矩阵20，其中待测像素21是指影像矩阵20的矩阵中心像素(如图3A中所示的P)，而相邻像素组则为影像矩阵20中其余的矩阵像素(如图3A中所示的P1、P2、P3、P4、P5、P6、P7及P8)。

基于此，本发明运作方法中将仅针对影像中所有能够构成影像矩阵20的待测像素21进行坏点像素检测，其余无法构成影像矩阵20的像素(如影像边缘的像素)则不予以检测，借此可以节省部分检测耗费的时间与资源，并且由于影像边缘通常在实际输出时都将被忽略，因此本发明对于无法构成影像矩阵20的像素不予检测的做法，将不会直接影响到整体影像质量。

实际坏点像素检测时，主要是根据每个像素所具有的灰阶值来进行判断处理的，所以为了方便以下说明，也可将前述的影像矩阵20视为如图3B所示的影像灰阶值矩阵30，其中每一个像素的表示方式均以其灰阶值作表示。依此，前述待测像素21将以待测像素灰阶值31表示(如图3B中所示的G)，其余相邻像素组的像素灰阶值则可以表示为如图3B中所示的G1、G2、G3、G4、G5、G6、G7及G8。

首先，依照在相邻像素组中先查找出两像素，分别称为第一像素与第二像素，并计算其灰阶差值(步骤120)。查找的方式，在较佳实施例中是以相邻像素组中像素对应的灰阶值次高的为第一像素，次低的为第二像素，以G1＜G2＜G3＜G4＜G5＜G6＜G7＜G8为例，则第一像素为G7而第二像素为G2。若不考虑处理相邻像素组中各像素的灰阶值高低比对所花费的运算资源，则在步骤120之前也可先对相邻像素组中各像素所对应的灰阶值进行排序(Sorting)动作，借此可更直接由排序结果中掌握到灰阶值次高以及灰阶值次低的值为何。

事实上，由于第一像素和第二像素的决定将会直接影响到判断坏点像素的准确度，因此有关第一像素和第二像素的决定事实上可以依照所需的检测敏感度或者是精确度来加以调整设定，并不以本发明所述的为限，当然也可依照第一像素和第二像素相对于待测像素所在位置的差异性而分别对第一像素或者第二像素给予不同的权重值来进行计算，以求得更为精确的检测结果。而有关灰阶差值计算的方式，主要是取第一像素与第二像素差值的绝对值，为了避免第一像素或第二像素对应的灰阶值过于接近，因此通常可以额外设定一个预定灰阶阈值，用以于灰阶差值计算出来后不够显著时(或者不具代表性时)能够以预定灰阶阈值来取代计算的灰阶差值，以减少对坏点像素的误判或忽略的可能性。

接着，计算相邻像素组中其余像素的灰阶均值(步骤130)，接续上面的例子当第一像素为G7而第二像素为G2时，将利用其余像素，包括：G1、G3、G4、G5、G6及G8，来计算其灰阶均值，计算的方式一般是取所有其余像素的灰阶值加总平均值为结果。

然后以前面步骤120及步骤130所计算得到的灰阶均值及灰阶差值来设定判断待测像素21是否可能为坏点像素的阈值，包括：以灰阶均值级灰阶差值的和来为高灰阶阈，并以灰阶均值与灰阶差值的差为低灰阶阈(步骤140)。通过高灰阶阈与低灰阶阈形成一个用来判断待测像素21是否为坏点像素的灰阶值范围区间，判断待测像素灰阶值31是否落于此灰阶值范围区间内？(步骤150)当确认待测像素灰阶值31落于高灰阶阈及低灰阶阈之内时，表示待测像素21为正常像素(步骤160)；当确认待测像素灰阶值31落于高灰阶阈及低灰阶阈之外时，表示待测像素21为坏点像素，此时将设定待测像素21为坏点像素(步骤170)。

当待测像素21被判断完毕后(不论为正常像素或者是坏点像素)，都将进入到步骤180处继续依序选取其它像素来作为待测像素21进行上述的影像坏点像素实时检测的运作，除非影像中所有可以作为待测像素21的像素都已经被检测完毕，否则运作流程将重新回到步骤110处继续执行对其他待测像素21的处理。

虽然本发明所提出的方法主要在于针对影像中坏点像素的实时检测技术手段，但是实际应用于数字相机时，还可进一步配合其它程序来作后续影像处理的应用。最常见的应用就是对所检测到的坏点像素进行修复程序以进行修复，修复程序可以用本领域技术人员所熟知的方式来进行对坏点像素的修复，一般常见的方式就是用被认定为坏点像素的相邻像素群来作为修复的依据，如：以相邻像素群中所有像素灰阶值总和的平均值来取代被认定为坏点像素的像素灰阶值，或者直接以相邻像素群中所有像素灰阶值的中间灰阶值来取代被认定为坏点像素的像素灰阶值均可，其它利用相邻像素群进行更为复杂计算的方式也可以被应用在修复坏点像素上，在此不多做赘述。

基本上依照本发明方法的运作方式，可以在数字相机取得影像的后直接进行坏点像素的实时检测，并配合其它修复程序实时完成对影像的实时修复，为了符合数字相机对影像实时处理的基本处理机制，必须等到整张影像中的像素都被检测完毕后，才会一次性的依照所有的检测结果对整张影像中的所有坏点像素进行一次的修复，因此在本发明方法中还可以包含将设定为坏点像素的像素位置信息暂存(非永久储存)在如闪存的内建储存媒体中，等待后续修复程序或者其它应用程序使用。

但是，本发明方法也可以被应用于实时更新坏点像素的像素位置信息的情况中，即结合过去所采取的永久储存坏点像素的做法，于每次对影像进行坏点像素检测时，一旦发现新的坏点像素便更新原先的坏点像素的像素位置信息，以确保修复程序永远可以使用到最新的信息来随时进行对影像的修复。

因此，整体来说本发明方法通过直接应用在数字相机上的实时检测机制，可以消除掉现有技术中数字相机在生产在线必须花费在坏点像素检测与修复的人力与工时过多，且必须占用大量储存媒体空间的问题；并且通过本发明方法中所提出动态依照影像属性来动态调整阈值的做法，也能够有效改善现有技术中容易产生误判或者忽略的问题。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的普通技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种影像坏点像素实时检测方法，应用于数字相机上，其特征在于，该方法至少包含下列步骤：

通过该数字相机取得外部的一影像；及

于该影像中仍有未检测像素时，依序选取该影像中一待测像素及其周边一相邻像素组，并执行下列步骤：

找出该相邻像素组中一第一像素与一第二像素计算一灰阶差值；

计算该相邻像素组中其余像素的一灰阶均值；

以该灰阶均值及该灰阶差值的和为一高灰阶阈，并以该灰阶均值与该灰阶差值的差为一低灰阶阈；及

确认该待测像素的灰阶值落于该高灰阶阈及该低灰阶阈之外时，设定该待测像素为坏点像素。

2.根据权利要求1所述的影像坏点像素实时检测方法，其特征在于，该方法还包含确认该待测像素的灰阶值落于该高灰阶阈及该低灰阶阈之间时，设定该待测像素为正常像素。

3.根据权利要求1所述的影像坏点像素实时检测方法，其特征在于，该待测像素为二维3*3影像矩阵的矩阵中心像素。

4.根据权利要求3所述的影像坏点像素实时检测方法，其特征在于，该相邻像素组为除该待测像素以外的二维3*3影像矩阵的矩阵像素。

5.根据权利要求4所述的影像坏点像素实时检测方法，其特征在于，该第一像素及该第二像素为该相邻像素组中灰阶值次高以及灰阶值次低的像素，该灰阶差值则为该第一像素与该第二像素差值的绝对值。

6.根据权利要求5所述的影像坏点像素实时检测方法，其特征在于，当该灰阶差值低于一预定灰阶阈阈值时，以该预定灰阶阈阈值作为该灰阶差值的步骤。

7.根据权利要求5所述的影像坏点像素实时检测方法，其特征在于，该灰阶均值则为该相邻像素组中除该第一像素及该第二像素以外，其余像素的灰阶值的加总平均值。

8.根据权利要求5所述的影像坏点像素实时检测方法，其特征在于，该方法还包含先对该相邻像素组中各像素依照其灰阶值高低进行排序的步骤。

9.根据权利要求1所述的影像坏点像素实时检测方法，其特征在于，该方法还包含当设定该待测像素为坏点像素时，实时执行一修复程序对该待测像素进行修复的步骤。

10.根据权利要求1所述的影像坏点像素实时检测方法，其特征在于，该方法还包含当设定该待测像素为坏点像素时，储存该待测像素于该影像的一像素位置信息于储存媒体的步骤。

Images