CN102469275B

CN102469275B - 用来进行坏像素补偿的方法与用来进行坏像素补偿的装置

Info

Publication number: CN102469275B
Application number: CN201110122681.5A
Authority: CN
Inventors: 陈永纬
Original assignee: Silicon Motion Inc
Current assignee: Silicon Motion Inc
Priority date: 2010-11-02
Filing date: 2011-05-11
Publication date: 2014-04-16
Anticipated expiration: 2031-05-11
Also published as: CN102469275A

Abstract

本发明公开了一种用来进行坏像素补偿的方法，该方法包含有：针对多个方向的每一方向，计算一图像中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值，其中所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值；以及针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿。本发明另提供一种相关的装置。本发明能妥善地进行坏像素补偿。即使在采用低端的硬件资源的状况下，本发明仍能保持良好的图像品质。

Description

用来进行坏像素补偿的方法与用来进行坏像素补偿的装置

技术领域

本发明公开了拜耳图样（Bayer Pattern）图像的图像处理，尤指一种用来进行坏像素补偿的方法与相关装置。

背景技术

个人电脑摄像头（PC Camera）中的图像传感器所产生的图像通常为拜耳图样（Bayer Pattern）图像。依据相关技术，该图像传感器的任意一个传感单元只能产生一相对应像素的各个像素值当中属于一色彩通道（Color Channel）的像素值。例如：完整的色彩通道应包含红色、绿色、蓝色的色彩通道，而该图像传感器的任意一个传感单元只能产生一相对应像素的红色、绿色、蓝色像素值中的其中之一，而这些红色、绿色、蓝色像素值中的另外两个像素值则需要透过图像处理来产生。

为了减少材料成本，传统的图像处理电路往往采用低端的硬件资源，以致产生诸多问题。例如：一旦其设计过于简化，往往会有副作用产生，使图像品质不佳。尤其是，传统的图像处理电路对于坏像素补偿的处理效果不佳。因此，需要一种新颖的方法，来改善图像品质。

发明内容

因此本发明的目的之一在于提供一种用来进行坏像素补偿的方法与相关装置，以解决上述问题。

本发明的另一目的在于提供一种用来进行坏像素补偿的方法与相关装置，以确保图像品质。即使在采用低端的硬件资源的状况下，本发明仍能保持良好的图像品质。

本发明的较佳实施例中提供一种用来进行坏像素补偿的方法，该方法包含有：针对多个方向的每一方向，计算一图像中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值，其中所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值，同一组的两个像素值属于同一色彩通道（Color Channel），而每一组第一像素值不包含该目标像素的一像素值，且每一组第二像素值包含该目标像素的该像素值；以及针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿。

本发明于提供上述方法的同时，也对应地提供一种用来进行坏像素补偿的装置，该装置包含有：一处理电路，用来接收代表一图像的至少一图像信号，并对该图像进行坏像素补偿。该处理电路包含有：一检测模块，用来针对多个方向的每一方向，计算一图像中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值，其中所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值，同一组的两个像素值属于同一色彩通道，而每一组第一像素值不包含该目标像素的一像素值，且每一组第二像素值包含该目标像素的该像素值；以及一补偿模块，用来针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿。

本发明的好处之一是，本发明能避免相关技术的问题，例如不良的图像品质。尤其是，本发明能妥善地进行坏像素补偿。即使在采用低端的硬件资源的状况下，本发明仍能保持良好的图像品质。

附图说明

图1A为依据本发明一第一实施例的一种用来进行坏像素补偿的装置的示意图。

图1B为依据本发明一第二实施例的一种用来进行坏像素补偿的装置的示意图。

图2为依据本发明一实施例的一种用来进行坏像素补偿的方法的流程图。

图3至图6绘示一实施例中关于图3所示的方法所涉及的实施细节。

其中，附图标记说明如下：

100,100’ 用来进行坏像素补偿的装置

105 图像传感器

110,110’ 处理电路

110P 程序代码

112,112’ 检测模块

114,114’ 补偿模块

910 用来进行坏像素补偿的方法

912, 914 步骤

S1, S2 图像信号

V00,V01,V02,V03,V04, 像素值

V10,V11,V12,V13,V14,

V20,V21,V22,V23,V24,

V30,V31,V32,V33,V34,

V40,V41,V42,V43,V44

具体实施方式

请参考图1A，图1A为本发明一第一实施例的一种用来进行坏像素补偿的装置100的示意图。装置100包含一图像传感器105与一处理电路110，而处理电路110包含有一检测模块112与一补偿模块114。依据本实施例，处理电路110自图像传感器105接收代表一图像的至少一图像信号S1，并对该图像进行坏像素补偿，其中该图像为一拜耳图样（Bayer Pattern）图像。如图1A所示，处理电路110可输出载有补偿后图像的至少一图像信号S2。另外，检测模块112可进行检测以产生多个检测值，而补偿模块114则可依据所述检测值中的至少一部分，选择性地对一目标像素进行坏像素补偿。实际操作过程中，检测模块112与补偿模块114可利用电路来实施。这只是为了说明的目的而已，并非对本发明的限制。依据本实施例的某些变化例，例如图1B所示的第二实施例，上述的处理电路110被代换为处理电路110’，而处理电路110’可执行一程序代码110P来进行与该第一实施例相同的操作，其中程序代码110P包含程序模块，例如检测模块112’与补偿模块114’，分别具备检测模块112与补偿模块114的操作；因应架构上的变化，上述的装置于该第二实施例中改以标号100’来标示。

不论采用图1A所示的架构或图1B所示的架构，本发明能避免相关技术的问题，例如不良的图像品质。尤其是，本发明能妥善地进行坏像素补偿。即使在采用低端的硬件资源的状况下，本发明仍能保持良好的图像品质。请参考图2，坏像素补偿的相关操作的细节说明如下。

图2为依据本发明一实施例的一种用来进行坏像素补偿的方法910的流程图。方法910可应用于图1A所示的装置100（或图1B所示的装置100’），尤其是该第一实施例的处理电路110（或该第二实施例的处理电路110’）。为了便于说明，以下利用该第一实施例的架构来进行说明，其中这些说明也适用于该第二实施例的架构。该方法说明如下：

于步骤912中，检测模块112针对多个方向的每一方向，计算一图像（例如：上述的拜耳图样图像）中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向（例如：所述多个方向中的每一方向），计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值。尤其是，所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值，而同一组的两个像素值属于同一色彩通道。另外，每一组第一像素值不包含该目标像素的一像素值，且每一组第二像素值包含该目标像素的该像素值。

于步骤914中，补偿模块114针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿。实际操作过程中，补偿模块144可依据所述多个方向的每一方向的该第一检测值，于所述多个方向中选择出该特定方向；然后，补偿模块114针对该特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿。例如：每一方向的该第一检测值可代表该目标像素附近的图像均匀度的检测值，补偿模块114可依据各个方向的各个第一检测值的大小，来判断该目标像素附近的可能的边缘及／或线条的方向，作为上述的特定方向。

于本实施例中，所述多个方向包含N个方向例如方向DN(n)，其中N为正整数，且n=1、2、…、或N。例如：于N=4的状况下，方向DN(1)、DN(2)、DN(3)、与DN(4)可分别代表水平方向、45度方向、垂直方向、与135度方向。为了便于理解，在此将四个参数Horz、D45、Vert、与D135分别定义为1、2、3、与4，也就是方向DN(1)、DN(2)、DN(3)、与DN(4)的四个索引值1、2、3、与4，以便在后续说明中的虚拟程序代码（Pseudo Code）当中用来指出水平方向、45度方向、垂直方向、与135度方向。

图3至图6绘示一实施例中关于图2所示的方法910所涉及的实施细节，其中图3至图6中的圆圈代表像素，而各个圆圈内的符号例如集合{{V00,V01,V02,V03,V04},{V10,V11,V12,V13,V14},{V20,V21,V22,V23,V24},{V30,V31,V32,V33,V34},{V40,V41,V42,V43,V44}}中的符号代表像素值。请注意，图3至图6中的正中央像素（其像素值为V22）为步骤912所述的该目标像素。另外，图3至图6中的箭头是用来指出一些可能用于步骤912所述的各组像素值，而每一箭头对应于一组像素值，也就是步骤912所述的「对应于一差值的两个像素值」。举例而言，由于该图像于实施例中为拜耳图样图像，在像素值V22为蓝色像素值的状况下，图3至图6中的各个箭头的位置正好符合步骤912所述「同一组的两个像素值属于同一色彩通道」的说明。

图3绘示方向DN(n)为水平方向DN(Horz)的状况（即，于图3中，n=Horz），其中关于图3的某些虚拟程序代码详列如下：

Det1[Horz]=abs(V10-V12)+abs(V12-V14)+

abs(V11-V13)+abs(V31-V33)+

abs(V20-V24)+abs(V21-V23)+

abs(V30-V32)+abs(V32-V34);

Det1a[Horz]=abs(V00-V02)+abs(V02-V04)+

abs(V40-V42)+abs(V42-V44);

if(mode==0){

Det1[Horz]=Det1[Horz]*3/2;

}else if(mode==1){

Det1[Horz]+=Det1a[Horz];

}

Det2[Horz]=abs(V20-V22)+abs(V22-V24);

Cand[Horz]=(V20+V24)/2;

在上面的虚拟程序代码中，最前面几列中的符号abs代表绝对值，而这些绝对值的线性组合例如Det1[n]与Det1a[n]（于图3中，n=Horz）可用来产生步骤912所述的第一检测值。例如：在模式M1中（即「mode==1」成立时），该第一检测值可为上面的虚拟程序代码当中最前面6列的12个绝对值之和。又例如：在模式M0中（即「mode==0」成立时），该第一检测值可为上面的虚拟程序代码当中最前面4列的8个绝对值之和的3/2倍，其中放大倍数3/2用来调整该第一检测值，使该第一检测值可同时适用于两种模式的计算，以减少运算量及相关成本。如此，于完成上面的虚拟程序代码中的前11列所代表的操作后，符号Det1[n]（于图3中，n=Horz）可代表步骤912所述的第一检测值。

请注意，如图3的大部分的箭头所表示，针对步骤912中的所述多个方向的每一方向DN(n)例如水平方向DN(1)，所述多组第一像素值对应于依据该方向排列的至少三直线上的像素。例如：在模式M0中，针对步骤912中的所述多个方向的每一方向DN(n)例如水平方向DN(1)，所述多组第一像素值对应于依据该方向排列的三直线上的像素。又例如：在模式M1中，针对步骤912中的所述多个方向的每一方向DN(n)例如水平方向DN(1)，所述多组第一像素值对应于依据该方向排列的五直线上的像素。

另外，如图3的某些其它的箭头所表示，针对步骤912中的所述多个方向的每一方向DN(n)例如水平方向DN(1)，所述多组第二像素值对应于依据该方向排列的一直线上的像素。

另外，在上面的虚拟程序代码中的最后两列的符号Det2[n]与Cand[n]（于图3中，n=Horz）分别代表步骤912所述的第二检测值与步骤914所涉及的候选值。假设步骤914所述的特定方向为n=n0的状况下的方向DN(n0)。于步骤914中，当决定对该目标像素进行坏像素补偿时，补偿模块114依据候选值Cand[n]（例如：n=n0）对该目标像素进行坏像素补偿，其中候选值Cand[n]对应于该特定方向的所述多组第二像素值中的一部分像素值。尤其是，候选值Cand[n]为该特定方向的所述多组第二像素值例如像素值{V20,V22}与{V22,V24}当中除了该目标像素的像素值V22之外的像素值（于图3中，即像素值{V20,V24}）的平均值。在n0=Horz的状况下，这个平均值等于(V20+V24)/2。

图4绘示方向DN(n)为垂直方向DN(Vert)的状况（即，于图5中，n=Vert），其中关于图4的某些虚拟程序代码详列如下：

Det1[Vert]=abs(V01-V21)+abs(V21-V41)+

abs(V11-V31)+abs(V13-V33)+

abs(V02-V42)+abs(V12-V32)+

abs(V03-V23)+abs(V23-V43);

Det1a[Vert]=abs(V00-V20)+abs(V20-V40)+

abs(V04-V24)+abs(V24-V44);

if(mode==0){

Det1[Vert]=Det1[Vert]*3/2;

}else if(mode==1){

Det1[Vert]+=Det1a[Vert];

}

Det2[Vert]=abs(V02-V22)+abs(V22-V42);

Cand[Vert]=(V02+V42)/2;

在上面的虚拟程序代码中，因应n=Vert的状况，各个可能用来计算步骤912所述的第一检测值的像素值已被代换，且各个可能用来计算步骤912所述的第二检测值的像素值已被代换，其中图4的各个箭头也对应地改变位置，以指出某些可能用到的各组像素值。另外，候选值Cand[n]（于图4中，n=Vert）的计算所需的像素值已被对应地代换。图4与图3相仿之处不再重复赘述。

图5绘示方向DN(n)为45度方向DN(D45)的状况（即，于图5中，n=D45），其中关于图5的某些虚拟程序代码详列如下：

Det1[D45]=abs(V02-V20)+abs(V03-V21)+

abs(V12-V30)+abs(V14-V32)+

abs(V13-V31)+abs(V04-V40)+

abs(V23-V41)+abs(V24-V42);

Det1[D45]=Det1[D45]*3/2;

Det2[D45]=abs(V04-V22)+abs(V22-V40);

Cand[D45]=(V04+V40)/2;

在上面的虚拟程序代码中，因应n=D45的状况，各个可能用来计算步骤912所述的第一检测值的像素值已被代换，且各个可能用来计算步骤912所述的第二检测值的像素值已被代换，其中图5的各个箭头也对应地改变位置，以指出某些可能用到的各组像素值。另外，候选值Cand[n]（于图5中，n=D45）的计算所需的像素值已被对应地代换。图5与图3相仿之处不再重复赘述。

图6绘示方向DN(n)为135度方向DN(D135)的状况（即，于图7中，n =D135），其中关于图6的某些虚拟程序代码详列如下：

Det1[D135]=abs(V01-V23)+abs(V02-V24)+

abs(V10-V32)+abs(V12-V34)+

abs(V11-V33)+abs(V00-V44)+

abs(V20-V42)+abs(V21-V43);

Det1[D135]=Det1D135*3/2;

Det2[D135]=abs(V00-V22)+abs(V22-V44);

Cand[D135]=(V00+V44)/2;

在上面的虚拟程序代码中，因对应n=D135的情况，各个可能用来计算步骤912所述的第一检测值的像素值已被代换，且各个可能用来计算步骤912所述的第二检测值的像素值已被代换，其中图6的各个箭头也对应地改变位置，以指出某些可能用到的各组像素值。另外，候选值Cand[n]（于图6中，n=D135）的计算所需的像素值已被对应地代换。图6与图3相仿之处不再重复赘述。

依据本实施例，去噪声模块114于所述方向DN(n)当中选出其第一检测值Det1[n]中的最小值所对应的方向DN(n0)作为该特定方向；即，第一检测值Det1[n0]为各个方向的第一检测值Det1[n]当中的最小值。如此，步骤914所述的特定方向为n=n0的状况下的方向DN(n0)，则补偿模块114可在某（些）条件成立的状况下，利用候选值Cand[n]（例如：n=n0）取代该目标像素的该像素值例如像素值V22，以对该目标像素进行坏像素补偿，其中此操作的一例的虚拟程序代码如以下所列：

if(Det2[n0]*16>Det1[n0]*Thrd1+Thrd2*16){

V22=Cand[n0];

}

如上面的虚拟程序代码所表示，补偿模块114比较特定方向DN(n0)的第二检测值Det2[n0]与一门槛值TH以决定是否对该目标像素进行坏像素补偿，其中门槛值TH对应于特定方向DN(n0)的第一检测值Det1[n0]。当决定对该目标像素进行坏像素补偿时，补偿模块114对该目标像素进行坏像素补偿。例如：本实施例的门槛值TH可描述如下：

TH=(Det1[n0]*Thrd1+Thrd2*16)/16；

其中门槛值TH与特定方向DN(n0)的第一检测值Det1[n0]之间的关系为线性关系，而符号Thrd1与Thrd2可代表固定值或预定（Predetermined）值。实际操作过程中，为了简化计算，上面的虚拟程序代码中的第1列将第二检测值Det2[n0]与门槛值TH都乘以16，避免补偿模块114进行除法运算。

请注意，依据图3至图6所示的实施例，检测模块112于步骤912中，针对所述多个方向中的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为该第二检测值。这只是为了说明的目的而已，并非对本发明的限制。依据本实施例的某些变化例，检测模块112于步骤912中，针对该特定方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为该第二检测值。也就是说，这些变化例的检测模块112于步骤912中不需要针对所述多个方向当中的其它方向（即该特定方向的外的其它方向）计算任何第二检测值。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种用来进行坏像素补偿的方法，该方法的特征是，包含有：

针对多个方向的每一方向，计算一图像中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值，其中所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值，同一组的两个像素值属于同一色彩通道，而每一组第一像素值不包含该目标像素的一像素值，且每一组第二像素值包含该目标像素的该像素值；以及

针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿，其中用来决定是否对该目标像素进行坏像素补偿的一门槛值对应于该特定方向的该第一检测值，且用来选择性地对该目标像素进行坏像素补偿的一候选值对应于该特定方向的所述多组第二像素值中的一部分像素值。

2.如权利要求1所述的方法，其特征是，针对所述多个方向的每一方向，所述多组第一像素值对应于依据该方向排列的至少三直线上的像素。

3.如权利要求1所述的方法，其特征是，针对所述多个方向中的该至少一部分的每一方向，所述多组第二像素值对应于依据该方向排列的一直线上的像素。

4.如权利要求1所述的方法，其特征是，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿的步骤另包含：

依据所述多个方向的每一方向的该第一检测值，于所述多个方向中选择出该特定方向。

5.如权利要求1所述的方法，其特征是，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿的步骤另包含：

比较该特定方向的该第二检测值与该门槛值以决定是否对该目标像素进行坏像素补偿；以及

当决定对该目标像素进行坏像素补偿时，对该目标像素进行坏像素补偿。

6.如权利要求5所述的方法，其特征是，该门槛值与该特定方向的该第一检测值之间的关系为线性关系。

7.如权利要求1所述的方法，其特征是，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿的步骤另包含：

当决定对该目标像素进行坏像素补偿时，依据该候选值对该目标像素进行坏像素补偿。

8.如权利要求7所述的方法，其特征是，该候选值为该特定方向的所述多组第二像素值当中除了该目标像素的该像素值之外的像素值的平均值。

9.如权利要求7所述的方法，其特征是，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿的步骤另包含：

利用该候选值取代该目标像素的该像素值，以对该目标像素进行坏像素补偿。

10.如权利要求1所述的方法，其特征是，该图像为一拜耳图样图像。

11.一种用来进行坏像素补偿的装置，其特征是，该装置包含有：

一处理电路，用来接收代表一图像的至少一图像信号，并对该图像进行坏像素补偿，其中该处理电路包含有：

一检测模块，用来针对多个方向的每一方向，计算一图像中的一目标像素附近的多组第一像素值的差的绝对值之和作为一第一检测值，且针对所述多个方向中的至少一部分的每一方向，计算该目标像素附近的多组第二像素值的差的绝对值之和作为一第二检测值，其中所述多组第一像素值与所述多组第二像素值中的每一组包含对应于一差值的两个像素值，同一组的两个像素值属于同一色彩通道，而每一组第一像素值不包含该目标像素的一像素值，且每一组第二像素值包含该目标像素的该像素值；以及

一补偿模块，用来针对所述多个方向中的一特定方向，依据该第一检测值与该第二检测值选择性地对该目标像素进行坏像素补偿，其中用来决定是否对该目标像素进行坏像素补偿的一门槛值对应于该特定方向的该第一检测值，且用来选择性地对该目标像素进行坏像素补偿的一候选值对应于该特定方向的所述多组第二像素值中的一部分像素值。

12.如权利要求11所述的装置，其特征是，针对所述多个方向的每一方向，所述多组第一像素值对应于依据该方向排列的至少三直线上的像素。

13.如权利要求11所述的装置，其特征是，针对所述多个方向中的该至少一部分的每一方向，所述多组第二像素值对应于依据该方向排列的一直线上的像素。

14.如权利要求11所述的装置，其特征是，该补偿模块依据所述多个方向的每一方向的该第一检测值，于所述多个方向中选择出该特定方向。

15.如权利要求11所述的装置，其特征是，该补偿模块比较该特定方向的该第二检测值与该门槛值以决定是否对该目标像素进行坏像素补偿；以及当决定对该目标像素进行坏像素补偿时，该补偿模块对该目标像素进行坏像素补偿。

16.如权利要求15所述的装置，其特征是，该门槛值与该特定方向的该第一检测值之间的关系为线性关系。

17.如权利要求11所述的装置，其特征是，当决定对该目标像素进行坏像素补偿时，该补偿模块依据该候选值对该目标像素进行坏像素补偿。

18.如权利要求17所述的装置，其特征是，该候选值为该特定方向的所述多组第二像素值当中除了该目标像素的该像素值之外的像素值的平均值。

19.如权利要求17所述的装置，其特征是，该补偿模块利用该候选值取代该目标像素的该像素值，以对该目标像素进行坏像素补偿。

20.如权利要求11所述的装置，其特征是，该图像为一拜耳图样图像。