CN103686098B

CN103686098B - 数字摄像装置及其影像处理方法

Info

Publication number: CN103686098B
Application number: CN201210322469.8A
Authority: CN
Inventors: 蔡易霖
Original assignee: Himax Imaging Inc
Current assignee: Himax Imaging Inc; Himax Imaging Ltd
Priority date: 2012-09-04
Filing date: 2012-09-04
Publication date: 2015-07-22
Anticipated expiration: 2032-09-04
Also published as: CN103686098A

Abstract

一种影像处理方法，适用于nxn像素阵列的正中央的待测像素，待测像素具有待测像素值。所述的影像处理方法包含以下步骤：首先，预设搜寻窗口，包含多个校正像素以及置于正中央的待测像素；之后，计算搜寻窗口中的待测像素以及校正像素在各个方向上与各自的同色像素的最小差异量为各自的平滑方向值；最后，根据校正像素以及待测像素的平滑方向值来判断待测像素是否为瑕疵像素。

Description

数字摄像装置及其影像处理方法

技术领域

本发明涉及一种影像处理方法，特别是涉及一种用于检测及校正瑕疵像素的数字摄像装置及其影像处理方法。

背景技术

目前数字成像技术大多利用互补金属氧化物半导体(Complem entaryMetal－Oxide Sem iconductor，CM OS)作为感光元件，并在其上覆盖一层彩色的滤色阵列(Color Filter Array，CFA)，将撷取到的影像的红绿蓝(RGB)三原色各自分开，进而产生符合拜耳图样(Bayer Pattern)的像素阵列影像，如图1所示，其为5x5像素阵列1，其中R表示红色，B表示蓝色，G表示绿色。

然而，所撷取到的像素阵列1中的相邻像素会互相干扰，或CM OS感光元件在工艺中的电路缺陷，都有可能产生瑕疵像素(Bad Pixel)，进而使得处理后的影像中出现特别突兀的部份，如亮点。瑕疵像素的分布情况有很多种，例如，丛集型(cluster type)、十字型(cross type)、或单独只有一个(位于正中央)瑕疵像素(stand alone bad pixel)等。

为了修正瑕疵像素，目前作法通常会找其周围同颜色的像素来进行修补，以图1为例，假设欲修正正中央的蓝色像素，其中一种方法是，处理器会从其四周的蓝色像素中找最大和次大的像素值来作权重运算后，取代中央的蓝色样素值。但对于不同分布的瑕疵像素，需要使用不同的演算法来校正，因此在某些情况下，运算出的校正值仍然无法显著且有效地校正瑕疵像素。再者，对于位在影像中物件边缘(edge)的像素，由于对比的强烈落差容易造成瑕疵像素的误判。

因此，亟需提出一种新颖的数字摄像装置及其影像处理方法，使能准确地检测出瑕疵像素，并有效地对其校正。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种数字摄像装置及其影像处理方法，其通过待测像素周围的像素值来检测是否为瑕疵像素，并根据与待测像素相同颜色的像素的值，来校正待测像素，进而能准确地检测出瑕疵像素，并有效地校正它。

本发明揭示一种影像处理方法，适用于nxn像素阵列的正中央的待测像素，待测像素具有待测像素值。所述的影像处理方法包含以下步骤：首先，预设搜寻窗口，包含多个校正像素以及置于正中央的待测像素；之后，计算搜寻窗口中的待测像素以及校正像素在各个方向上与各自的同色像素的最小差异量为各自的平滑方向值；最后，根据校正像素以及待测像素的平滑方向值来判断待测像素是否为瑕疵像素。

本发明又揭示一种数字摄像装置，其包含感光元件、平滑方向检测单元、瑕疵像素判断单元以及瑕疵像素校正(Bad Pixel Correction，BPC)处理器。感光元件用来撷取符合拜耳图样的像素阵列影像，其包含多个nxn像素阵列，其中每一个nxn像素阵列的正中央具有待测像素，其具有待测像素值。平滑方向检测单元用来处理包含多个校正像素以及置于正中央的待测像素的搜寻窗口，并计算每一个校正像素与待测像素的平滑方向值，其中所述平滑方向检测单元中存储平滑方向检测程序，其执行下列步骤：找出最接近所述待测像素且与所述待测像素同颜色的多个同色像素，其中每一个所述多个同色像素具有同色像素值；计算所述待测像素在各个方向上与所述多个同色像素的最小差异量为平滑方向值；以及重复所述平滑方向检测程序以对每一个所述多个校正像素计算出其所述平滑方向值。瑕疵像素判断单元耦接于感光元件以及平滑方向检测单元之间，用来根据校正像素以及待测像素的平滑方向值来判断待测像素是否为瑕疵像素。瑕疵像素校正处理器耦接于瑕疵像素判断单元，用来根据瑕疵像素判断单元的判断结果来校正待测像素。

附图说明

图1为公知的拜耳图样的示意图。

图2为本发明实施例的数字摄像装置的方块图。

图3为本发明实施例的像素阵列影像的示意图。

图4为本发明实施例的5x5像素阵列的示意图。

图5为本发明实施例的待测像素与周围的同色像素之间的平滑方向的示意图。

图6为本发明实施例的搜寻窗口的示意图。

图7为本发明实施例的用来校正待测像素的参考像素的示意图。

图8为本发明实施例的影像处理方法的流程图。

【主要元件符号说明】

1 像素阵列

2 数字摄像装置

21 感光元件

23 瑕疵像素判断单元

24 平滑方向检测单元

241 平滑方向检测程序

25 瑕疵像素校正处理器

251 第一影像校正程序

253 第二影像校正程序

27 数字化处理单元

29 存储单元

3 像素阵列影像

4 5x5像素阵列

6 搜寻窗口

Nc 待测像素

VNc 待测像素值

D0-D7 第一同色像素

V0-V7 第一同色像素值

步骤 S801-S819

具体实施方式

首先，请参考图2，为本发明实施例的数字摄像装置的方块图。如图2所示，数字摄像装置2包含感光元件21、瑕疵像素判断单元23、平滑方向检测单元24、瑕疵像素校正处理器25、数字化处理单元27以及存储单元29。数字摄像装置2用来撷取影像，其利用感光元件21上覆盖的一层拜耳图样的彩色滤色阵列(图中未示)产生拜耳图样像素阵列影像。

平滑方向检测单元24用来检测待测像素在哪个方向上的差异量最小(后面详述)；瑕疵像素判断单元23耦接于感光元件21以及平滑方向检测单元24之间，用来判断像素阵列影像中是否有瑕疵像素；而瑕疵像素校正处理器25耦接于瑕疵像素判断单元23，并对瑕疵像素判断单元23判断出的瑕疵像素进行校正。数字化处理单元27用来将所有瑕疵像素都校正完的像素阵列影像进行处理，如拜耳图样插补(Bayer Pattern Interpolation)、信号放大、类比数字转换等，以产生数字化影像存储至存储单元29中。

具体来说，数字摄像装置2包含数码相机、移动通信装置、个人数字助理(Personal Digital Assistant，PDA)、或任何电子影像传感器(electronicimage sensors)。感光元件21包含感光耦合元件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complem entary Metal-Oxide Sem iconductor，CMOS)、或互补金属氧化物半导体－有源像素传感器(ComplimentaryMetal-Oxide Semiconductor－Active Pixel Sensors，CMOS－APS)。值得一提的是，本发明的主要技术特征在于判断及校正瑕疵像素的演算法，然而公知数字摄像装置中的必要元件及电路虽未进一步描述，但亦为本发明保护的范围，不以揭露者为限。

接着，请一并参考图3，该图为本发明实施例的像素阵列影像的示意图。如图3所示，像素阵列影像3符合拜耳图样的排列方式，包含多个nxn像素阵列4，如5x5像素阵列4，其中R表示红色，B表示蓝色，G表示绿色。本发明会对每一组的5x5像素阵列4中的像素进行检测及校正，为了方便说明，以下针对单一个5x5像素阵列4来举例。

请再参考图4，为本发明实施例的5x5像素阵列4的示意图，其对应于像素阵列影像3所排列的颜色。每一像素都有所对应的像素值来表示信号强度，5x5像素阵列4的正中央具有待测像素Nc，其待测像素值为V_Nc；同色像素D₀-D₇最接近待测像素Nc且与其同样是蓝色的像素，各自的同色像素值为V₀-V₇。瑕疵像素判断单元23主要参考每一组5x5像素阵列4中的待测像素Nc与其同色像素D₀-D₇的差异，来判断待测像素是否是瑕疵像素。具体来说，瑕疵像素判断单元23会先判断待测像素值V_Nc是否大于第一校正临界值，若是，就表示待测像素值V_Nc太大，有可能是瑕疵像素，则输出第一校正致能信号(图中未示)来驱动或控制瑕疵像素校正处理器25对像素阵列进行校正。收到第一校正致能信号后，瑕疵像素校正处理器25便执行第一影像校正程序251，以最大的同色像素值V_i取代待测像素值V_Nc。在本发明的实施例中，第一校正临界值可为最大的同色像素值V_i加上一个第一校正子临界值的总和，其中第一校正子临界值为实验数据，例如为20。

经过上述第一影像校正程序251，已可将5x5像素阵列4中的单点瑕疵像素做第一阶段的修正。由于5x5像素阵列4中可能有其它瑕疵像素而导致校正待测像素值V_Nc的效果不显著，故尚须考量待测像素Nc在各个方向上与周围同色像素D₀-D₇的差异量，以确定待测像素Nc的平滑方向。

具体来说，待测像素Nc与周围的同色像素D₀-D₇之间具有8个平滑方向，如图5所示。举例来说，待测像素Nc在同色像素D₁、D₆的方向上的平滑方向值S₁根据公式(1)来计算；而待测像素Nc在同色像素D₃、D₄的方向上的平滑方向值S₂根据公式(2)来计算；以此类推。

S₁＝|2*V_Nc-(V₁+V₆)|/2……(1)

S₂＝|2*V_Nc-(V₃+V₄)|/2……(2)

S₃＝|2*V_Nc-(V₂+V₅)|/2……(3)

S₄＝|2*V_Nc-(V₀+V₇)|/2……(4)

S₅＝|2*V_Nc-(V₁+V₃)|/2……(5)

S₆＝|2*V_Nc-(V₁+V₄)|/2……(6)

S₇＝|2*V_Nc-(V₃+V₆)|/2……(7)

S₈＝|2*V_Nc-(V₄+V₆)|/2……(8)

而平滑方向检测单元24存储平滑方向检测程序241，其依照上述公式计算待测像素Nc在各个方向上与同色像素D₀-D₇的差异量，并以最小的差异量作为待测像素Nc的最终平滑方向值。检测单元24会针对像素阵列影像3中的每个像素执行平滑方向检测程序241，以计算出每个像素的平滑方向值。

请参考图6，为本发明实施例的搜寻窗口的示意图。在本发明的实施例中，平滑方向检测单元24预设搜寻窗口6，其为一个1x7像素阵列，包含6个校正像素L₁-L₃、R₁-R₃以及置于正中央的待测像素Nc。当平滑方向检测单元24利用平滑方向检测程序241计算出搜寻窗口6中每个像素的平滑方向值之后，瑕疵像素判断单元23便可根据校正像素L₁-L₃、R₁-R₃以及待测像素Nc的平滑方向值来判断待测像素Nc是否为瑕疵像素。一个实施例中，搜寻窗口6亦可为1x5像素阵列，但不以揭露者为限。

举例来说，假设像素L₃、L₂、L₁、Nc、R₁、R₂、R₃的平滑方向值分别为SOA[0]、SOA[1]、SOA[2]、SOA[3]、SOA[4]、SOA[5]、SOA[6]。由这些平滑方向值可推出第二校正临界值。例如，第二校正临界值可设定为所有校正像素的平滑方向值的总和减去最大的平滑方向值(即(SOA[0]+SOA[1]+SOA[2]+SOA[4]+SOA[5]+SOA[6])-Max_SOA)再加上第二校正子临界值的总和，其中第二校正子临界值为实验数据，例如为20。如此一来，瑕疵像素判断单元23便可判断待测像素Nc的平滑方向值是否大于第二校正临界值，若是，就表示待测像素Nc在所设定的搜寻窗口6范围中，与周围各方向的差异太大，有可能是瑕疵像素，则输出第二校正致能信号(图中未示)来驱动或控制瑕疵像素校正处理器25对像素阵列进行第二次的校正。收到第二校正致能信号后，瑕疵像素校正处理器25便执行第二影像校正程序253，以校正待测像素值V_Nc。

请参考图7，为本发明实施例的用来校正待测像素的参考像素的示意图。瑕疵像素校正处理器25执行第二影像校正程序253时，会先决定多个参与校正的参考像素，这些参考像素至少包括全部的同色像素D₀-D₇。实施例中，以待测像素Nc的同色像素D₀-D₇加上左右两像素阵列的正中央像素N_L、N_R(亦为同色像素)，共10个像素作为参与校正的参考像素。其中，参考像素也可加入待测像素Nc上下两像素阵列的正中央像素(亦为同色像素)，故不以揭露者为限。

接着，便将待测像素Nc一一与所选择的10个参考像素D₀-D₇、N_L、N_R比较差异量，若待测像素Nc与任一参考像素的差异量小于参考临界值，则表示待测像素Nc愈接近此参考像素。当待测像素Nc接近愈多个参考像素，则表示待测像素Nc愈有参考价值，且是瑕疵像素的机率愈低。经上述一一比较之后，便可计算出有多少个参考像素与待测像素Nc的差异量小于参考临界值。之后，再将所有参考像素D₀-D₇、N_L、N_R的像素值与多个待测像素值V_Nc由大到小进行排序(sort)，并以排序后的中间像素值取代待测像素值V_Nc。其中，参与排序的待测像素值V_Nc的数量便等于待测像素Nc与参考像素D₀-D₇、N_L、N_R的差异量小于参考临界值的次数。

举例来说，假设有3个参考像素与待测像素Nc的差异量小于参考临界值。因此在排序过程中，是将所有参考像素D₀-D₇、N_L、N_R的像素值与3个待测像素值V_Nc由大到小进行排序，最后再以排序后的中间像素值取代待测像素值V_Nc。实施例中，上述机制可使用中值滤波器(median filter)来实作。另一实施例中，在一一比较待测像素Nc与10个参考像素D₀-D₇、N_L、N_R的差异量之前，可先从参考像素D₀-D₇、N_L、N_R中移除具有最大值以及最小值的像素值的像素，不进行比较，如此可使校正值更为准确。

为了更进一步了解本发明的运作，请参考图8，为本发明实施例的影像处理方法的流程图，其应用于数字摄像装置2中。相关系统架构及像素阵列请一并参考图2至图7。所述的影像处理方法的步骤如下：

首先，感光元件21将撷取到的影像产生符合拜耳图样的像素阵列影像，并将其一一切分成多个nxn像素阵列的小单位(步骤S801)，如5x5像素阵列4，来对每一像素进行检测及校正。瑕疵像素判断单元23接收到5x5像素阵列4后，便判断待测像素值V_Nc是否大于第一校正临界值(步骤S803)。若否，则表示待测像素Nc是正常像素，进而对下一组5x5像素阵列4进行检测，直到每组5x5像素阵列4都检测完及校正完毕后，便将整个像素阵列影像传至数字化处理单元27，以进行数字化处理(步骤S817)，如信号放大、类比数字转换等，进而产生数字化影像存储至存储单元29(步骤S819)。

若步骤803的判断为是，则表示待测像素Nc为瑕疵像素，因此便输出第一校正致能信号来驱动瑕疵像素校正处理器25对像素阵列进行校正。瑕疵像素校正处理器25收到第一校正致能信号后，便执行第一影像校正程序251，其以最大的同色像素值V_i取代待测像素值V_Nc(步骤S805)。

接着，平滑方向检测单元24利用平滑方向检测程序241计算出搜寻窗口6中每个像素的平滑方向值(步骤S807)，便可根据所获得的平滑方向值来决定第二校正临界值(步骤S809)，其中详细程序请参考图6及其相关说明。之后，瑕疵像素判断单元23便判断待测像素Nc是否大于第二校正临界值(步骤S811)。若否，则无须作较正处理，可直接进行数字化处理并存储。

若步骤811的判断为是，则表示待测像素Nc为瑕疵像素，因此便输出第二校正致能信号来驱动瑕疵像素校正处理器25对像素阵列进行校正。瑕疵像素校正处理器25收到第二校正致能信号后，便执行第二影像校正程序253(步骤S813)，其中详细程序请参考图7及其相关说明。最后，便以排序后的中间像素值取代待测像素值V_Nc(步骤S815)，以对其校正。如此重复上述步骤，直到瑕疵像素校正处理器25将每组5x5像素阵列4中的待测像素Nc校正完毕后，便将整个像素阵列影像传至数字化处理单元27，以进行数字化处理(步骤S817)，如信号放大、类比数字转换等，进而产生数字化影像存储至存储单元29(步骤S819)。

通过以上实例详述，当可知悉本发明的数字摄像装置及其影像处理方法，是先根据待测像素周围的同色像素值来检测是否为瑕疵像素，以先进行单点瑕疵校正。之后再根据待测像素与周围像素的平滑关系来判断是否为瑕疵像素，并利用周围像素的平滑方向值来作为校正的参考。通过本发明所提出的演算法，针对各种型态的瑕疵像素，都能更精确地判断出瑕疵像素，再者，利用平滑方向性也可较正确判断出在边缘的像素是否为瑕疵像素，如此可减少误判的机率，并能显著且有效地校正瑕疵像素。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利要求的范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述的权利要求范围内。

Claims

1.一种影像处理方法，适用于nxn像素阵列的正中央的待测像素，所述待测像素具有待测像素值，所述方法包含：

预设搜寻窗口，包含多个校正像素以及置于正中央的所述待测像素；

进行第一影像校正程序，包含：

判断所述待测像素值是否大于第一校正临界值；以及

进行平滑方向检测程序，包含：

找出最接近所述待测像素且与所述待测像素同颜色的多个同色像素，其中每一个所述多个同色像素具有同色像素值；

计算所述待测像素在各个方向上与所述多个同色像素的最小差异量为平滑方向值；以及

重复所述平滑方向检测程序以对每一个所述多个校正像素计算出其所述平滑方向值；以及

根据所述多个校正像素以及所述待测像素的所述平滑方向值来判断所述待测像素是否为瑕疵像素。

2.如权利要求1所述的影像处理方法，其中进行所述第一影像校正程序的步骤中，还包含：

若所述待测像素值大于所述第一校正临界值，则将最大的所述同色像素值取代所述待测像素值。

3.如权利要求2所述的影像处理方法，其中判断所述待测像素是否为所述瑕疵像素的步骤中，还包含：

判断所述待测像素的所述平滑方向值是否大于第二校正临界值，其中所述第二校正临界值与所述多个校正像素的所述平滑方向值有关；以及

若所述待测像素值的所述平滑方向值大于所述第二校正临界值，则进行第二影像校正程序。

4.如权利要求3所述的影像处理方法，其中进行所述第二影像校正程序的步骤中，包含：

比较所述待测像素与多个参考像素的每一个的差异量，其中所述多个参考像素至少包括全部的所述多个同色像素；

将所述多个参考像素的像素值与多个所述待测像素值由大到小进行排序；以及

以排序后的中间像素值取代所述待测像素值；

其中，参与排序的所述待测像素值的数量取决于所述待测像素与所述多个参考像素的差异量小于参考临界值的次数。

5.如权利要求4所述的影像处理方法，其中所述多个参考像素中具有最大及最小像素值的像素不会与所述待测像素进行比较。

6.如权利要求4所述的影像处理方法，其中所述第一校正临界值为最大的所述同色像素值加上第一校正子临界值的总和。

7.如权利要求6所述的影像处理方法，其中所述第二校正临界值为所有所述多个校正像素的所述平滑方向值的总和减去最大的所述平滑方向值再加上第二校正子临界值的总和。

8.如权利要求7所述的影像处理方法，其中所述nxn像素阵列为符合拜耳图样的滤色阵列的部份，且所述nxn像素阵列包含5x5像素阵列。

9.如权利要求7所述的影像处理方法，其中所述搜寻窗口包含1x5像素阵列或1x7像素阵列。

10.一种数字摄像装置，包含：

感光元件，用来撷取符合拜耳图样的像素阵列影像，所述像素阵列影像包含多个nxn像素阵列，其中每一个所述nxn像素阵列的正中央具有待测像素，所述待测像素具有待测像素值；

平滑方向检测单元，用来处理包含多个校正像素以及置于正中央的所述待测像素的搜寻窗口，并计算每一个所述多个校正像素与所述待测像素的平滑方向值，其中所述平滑方向检测单元中存储平滑方向检测程序，其执行下列步骤：

重复所述平滑方向检测程序以对每一个所述多个校正像素计算出其所述平滑方向值；

瑕疵像素判断单元，耦接于所述感光元件以及所述平滑方向检测单元之间，用来根据所述多个校正像素以及所述待测像素的所述平滑方向值来判断所述待测像素是否为瑕疵像素；以及

瑕疵像素校正处理器，耦接于所述瑕疵像素判断单元，用来根据所述瑕疵像素判断单元的判断结果来校正所述待测像素。

11.如权利要求10所述的数字摄像装置，其中若所述瑕疵像素判断单元判断所述待测像素值大于第一校正临界值，则控制所述瑕疵像素校正处理器将最大的所述同色像素值取代所述待测像素值。

12.如权利要求11所述的数字摄像装置，其中所述瑕疵像素校正处理器包含影像校正程序，其执行下列步骤：

以排序后的中间像素值取代所述待测像素值；

13.如权利要求12所述的数字摄像装置，其中所述多个参考像素中具有最大及最小像素值的像素不会与所述待测像素进行比较。

14.如权利要求12所述的数字摄像装置，其中若所述瑕疵像素判断单元判断所述待测像素的所述平滑方向值大于第二校正临界值，则控制所述瑕疵像素校正处理器执行所述影像校正程序，其中所述第二校正临界值与所述平滑方向值有关。

15.如权利要求14所述的数字摄像装置，其中所述第一校正临界值为最大的所述同色像素值加上第一校正子临界值的总和。

16.如权利要求15所述的数字摄像装置，其中所述第二校正临界值为所有所述多个校正像素的所述平滑方向值的总和减去最大的所述平滑方向值再加上第二校正子临界值的总和。

17.如权利要求10所述的数字摄像装置，其中所述nxn像素阵列包含5x5像素阵列。

18.如权利要求10所述的数字摄像装置，其中所述搜寻窗口包含1x5像素阵列或1x7像素阵列。

19.如权利要求10所述的数字摄像装置，包含数码相机、移动通信装置、个人数字助理、或任何电子影像传感器。

20.如权利要求10所述的数字摄像装置，其中所述感光元件包含感光耦合元件、互补金属氧化物半导体、或互补金属氧化物半导体－有源像素传感器。

21.如权利要求10所述的数字摄像装置，还包含：

数字化处理单元，耦接于所述瑕疵像素校正处理器，用来对已校正的所述像素阵列影像进行处理，以产生数字化影像；及

存储单元，存储所述数字化影像。