CN101645168B - 用于平坦区域图像滤波的方法和设备 - Google Patents

Abstract

本发明提供平滑像素值的图像滤波器和方法。将待平滑的像素的像素值与多个像素块中的每一者的块平均像素值进行比较。所述待平滑的像素可在所述像素块中的每一者的下游。如果所述像素值与所述块平均像素值中的每一者之间的差小于所述像素块中的每一者的对应西格玛阈值，那么将利用所述块平均像素值的第一西格玛滤波器应用于所述待平滑的像素。如果所述像素值与所述块平均像素值中的任一者之间的差不小于对应的西格玛阈值，那么将第二西格玛滤波器应用于所述待平滑的像素。

Description

用于平坦区域图像滤波的方法和设备

技术领域

本发明的各种实施例涉及如应用于平坦图像区域的噪声移除。

背景技术

使用数码相机或图像传感器获取的图像可能是有颗粒的且错误地失常。即使高分辨率图像也可能部分地由于噪声而展现颗粒性。可使用西格玛滤波器来减小由于噪声而导致的图像的颗粒性。西格玛滤波器用于使图像平滑，从而减小图像的颗粒性，同时维持图像内的尖锐边缘。西格玛滤波器通过用从像素窗口内选择的像素的平均值代替一像素的值而起作用。所述像素窗口是相对于中心像素而界定。中心像素是值待由选定像素的平均像素值代替的像素。选定像素是所述窗口内值与中心像素的值相差不超过一西格玛值的那些像素。值与中心像素的值相差至少所述西格玛值的像素不用于确定平均像素值。以此方式，像素由值类似的像素平滑，且图像中的边缘或其它高对比度边界被保留，而不被西格玛滤波器平均化或平滑。

图1A中说明西格玛滤波的实例。在图1A中，说明3×3块10或像素窗口。中心像素P_C位于3×3块10的中心。3×3块10中的其它像素包含像素P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈。像素P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈中的每一者以及中心像素P_C表示色彩类似的像素。举例来说，中心像素P_C可表示红色像素。那么，像素P₄表示最靠近中心像素P_C左侧的红色像素。应理解，不同色彩的其它像素可散布于像素P₄与中心像素P_C之间。仅将具有类似色彩的像素视为与中心像素P_C有关。在图1B中，用与中心像素P_C的值相关的实例像素值来说明块10中的像素。所述实例像素值表示八位像素值，且因此从0到255变动。举例来说，在图1B中，像素P₁的值等于中心像素P_C的值加24(即，P₁＝P_C+24)。仅出于实例目的，P₂＝P_C+5、P₃＝P_C+10、P₄＝P_C+31、P₅＝P_C-22、P₆＝P_C-4、P₇＝P_C-1且P₈＝P_C+2。如果像素P_C的西格玛值等于七，那么在针对中心像素P_C确定新的平均值的过程中仅考虑块10内值与中心像素P_C的值相差小于七的那些像素。在图1B的实例中，块10中针对新平均值而考虑的仅有像素为像素P₂、P_C、P₆、P₇和P₈。因此，如等式1中所说明，中心像素P_C的新值等于像素P_C、P₂、P₆、P₇和P₈的平均值。

等式1.P_C|_新＝(P_C+P₂+P₆+P₇+P₈)/5

在西格玛滤波器中，滤波程度由西格玛值控制。通常，所使用的西格玛值取决于中心像素P_C的量值，且随着中心像素P_C的值增加也增加。用于确定西格玛值的西格玛阈值函数是用于创建图像的图像传感器的特性。通过修改所述函数使得西格玛值增加，图像中的滤波量也增加。然而，如果西格玛值增加得过多，那么图像中的高对比度边缘将被平滑并丢失。

另外，在西格玛滤波器中，将中心像素P_C周围的窗口的大小标识为滤波器核心。增加滤波器核心的大小会增加可用于平均化的像素元素的数目。然而，这还增加估算所述窗口所需的计算的数目。因此，增加滤波器核心的大小在某一时刻变得不切实际。另一方面，减小滤波器核心的大小也会降低西格玛滤波器的有效性。通常将5×5像素核心用于西格玛滤波器。

可对图像使用的滤波程度取决于图像本身。包含必须保留的高级细节的特征丰富的图像必须被仔细地滤波，以便不丢失任何重要细节。另一方面，“平坦的”无特征的图像可被较宽地滤波。西格玛滤波器可用于对特征丰富的图像和平坦图像进行滤波，但希望使用较宽的滤波器对平坦区域进行滤波。因此，需要一种与常规西格玛滤波器相比可更有效地对图像的平坦区域进行滤波的图像滤波器。

发明内容

本发明的一个实施例涉及一种对图像进行滤波的方法，其包括：读出所述图像的多个像素块中的像素的像素值；确定所述多个像素块中的每一者的块平均像素值；对于具有在从所述多个像素块读出所述像素值之后读出的第一像素值的第一像素，识别所述第一像素值是否与所述块平均像素值相差小于所述多个像素块中的每一者的阈值，从而指示所述第一像素是否在平坦区域中；及如果所述第一像素在平坦区域中，那么使用所述块平均像素值来平滑所述第一像素的值。

本发明的另一实施例涉及一种将平坦区域滤波器应用于图像中的像素的方法，其包括：将所述图像的区域划分成若干像素块；确定所述像素块中的每一者的块平均像素值；及使用所述所确定的块平均像素值来平滑位于所述区域外且位于所述像素块下游的第一像素的值。

本发明的又一实施例涉及一种处理图像的方法，其包括：接收对应于捕捉到的图像的像素值；通过以下步骤来处理所述所接收到的像素值：确定所述所接收到的像素值的若干第一块的块平均像素值；确定每一第一块的阈值；找出不包含在所述第一块中且在值方面与所述块平均像素值中的每一者相差小于对应的块阈值的第一像素值；及用所述第一像素值与所述块平均像素值的平均值来代替所述第一像素值。

本发明的又一实施例涉及一种对图像进行滤波的方法，其包括：读出所述图像的多个像素块中的像素的像素值；确定所述多个像素块中的每一者的块平均像素值；对于具有第一像素值的第一像素，识别所述第一像素值是否与所述块平均像素值相差小于所述多个像素块中的每一者的阈值，从而指示所述第一像素是否在平坦区域中；及如果所述第一像素在平坦区域中，那么使用所述块平均像素值来平滑所述第一像素的值。

本发明的又一实施例涉及一种实施图像滤波器的设备，所述滤波器包括：第一滤波器，其利用像素值来平滑在值方面与像素块的块平均像素值相差至少一阈值的像素；及第二滤波器，其利用像素块的所述块平均像素值来平滑在值方面相差小于所述阈值且在所述第二滤波器所使用的所述像素块下游的像素。

本发明的又一实施例涉及一种成像器，其包括：像素阵列，其产生表示图像的像素值；及处理器，其实施图像滤波器，所述图像滤波器包含第一西格玛滤波器，所述第一西格玛滤波器利用所述像素阵列的像素块的块平均像素值来平滑在所述第一西格玛滤波器所使用的所述像素块下游的像素。

附图说明

图1A和图1B说明西格玛滤波器的实例。

图2A、图2B和图2C说明根据一所揭示实施例的宏西格玛滤波器的实例。

图3说明实施西格玛滤波器和常规平坦区域滤波器两者的存储器要求。

图4说明根据所揭示实施例的宏西格玛滤波器。

图5说明根据所揭示实施例的双向宏西格玛滤波器。

图6A和图6B说明根据所揭示实施例的像素阵列的一部分以及实施双向宏西格玛滤波器的方法。

图7是根据所揭示实施例的成像器的框图。

图8是根据所揭示实施例的成像系统的框图。

具体实施方式

增加图像滤波器(例如西格玛滤波器)的平滑有效性的一种方法是增加滤波器核心的大小。然而，如上文所阐释，增加滤波器核心大小导致计算复杂性增加。一般来说，对于西格玛滤波器，滤波器的应用需要近似n²次比较，其中n为滤波器核心一侧的像素的数目。因此，即使滤波器核心大小的较小增加也会导致计算的较大增加。举例来说，图1A中的滤波器核心为3×3核心，从而需要9次比较。4×4或5×5滤波器核心将分别需要16或25次比较。

如下文所揭示，可代替地使用平坦区域滤波器来实现平坦图像或图像的平坦区域的增加滤波。平坦区域滤波器不仅在使图像的平坦区域平滑方面比常规西格玛滤波器更有效，而且平坦区域滤波器还经配置以识别待滤波的区域是否平坦。在一种常规的平坦区域滤波器中，多像素块的平均像素值被存储。计算所述平均值的标准偏差。只要计算出的标准偏差小于预定义的阈值，就将多像素块所包围的区域视为平坦的。因此，对平坦区域中的多像素块的中心块进行滤波。通过常规西格玛滤波与块平均像素值的经加权平均值的组合来对中心块中的每一像素进行滤波。对于中心块中的每一像素，块平均像素值的经加权平均值是相同的。

常规西格玛滤波器和常规平坦区域滤波器的实施需要大量的存储器资源。使常规西格玛滤波器移位以估算像素块P中以及相邻像素块中的每一像素P_i需要计算时间和存储器。用于常规西格玛滤波器的典型滤波器核心为5×5像素核心。因此，对于常规西格玛滤波器的每一应用，必须将五行像素值读取到存储器中。然而，还可使用更加大的滤波器核心，从而增加待读取到存储器中的像素行的数目。

常规平坦区域滤波器也需要存储器。尽管应用于像素块P中的像素P_i的常规平坦区域滤波器的滤波器核心是恒定且不移动的(即，所述滤波器核心并不针对块P中的每一像素P_i而移位)，从而减少计算时间，但对常规平坦区域滤波器的总体存储器要求仍非常大。对于图2B的9×9滤波器核心(其包含九个像素块)，对像素块P中的每一像素P_i的估算要求像素P_i的值和八个块平均像素值存储在存储器中。这等于一个像素行的存储器存储。另外，因为常规平坦区域滤波器可能不可应用于像素块P中的像素P_i(例如，因为块平均像素值可能与像素P_i的值相差至少西格玛值)，所以若干像素行(例如，5×5像素常规西格玛滤波器核心的五行)必须存储在存储器中，以允许常规西格玛滤波器应用于像素块P中的像素P_i。因为以一次一行(而不是简单地一次一个9×9块)的方式读出成像器中的像素值，所以在每一必要像素值可用于常规西格玛或常规平坦区域滤波之前，成像器存储器必须存储整行像素值。

另外，在图像处理管线中，以串行方式接收并渲染像素值。在其中像素被从左到右、从上到下串行接收的图像中，图2B的常规平坦区域滤波器是不实用的。至多，块平均像素值A₁、A₂、A₃、A₄以及可能A₅可被计算出且应用于块P中的像素P_i。然而，块平均像素值A₆、A₇和A₈太晚被读出以致无法直接应用于块P中的像素P_i。而是，包含像素P_i的像素行以及滤波器核心中在具有像素P_i的像素行下方的所有像素行必须存储在存储器中，以便允许计算像素P_i的新像素值。

举例来说，图3说明为促进使用常规西格玛滤波器和常规平坦区域滤波器两者来估算中心像素P_C而需要存储在存储器中的行的数目。中心像素P_C位于9×9像素块P内。像素块P与其它9×9像素块20毗连。尽管图2A至图2C说明用于与常规平坦区域滤波器一起使用的3×3像素块，但较大的块(例如9×9像素块)更有效。在图3中，说明27×27像素常规平坦区域滤波器核心，其包含像素块P以及具有块平均像素值A₁、A₂、A₃、A₄、A₅、A₆、A₇和A₈的相邻像素块。对中心像素P_C应用常规平坦区域滤波器要求将中心像素P_C位于其中的像素行以及核心中在中心像素P_C下方的所有像素行读取到存储器中。存储一行块平均像素值。另外，在常规平坦区域滤波器无法应用于中心像素P_C(由于区域的不平坦性)的情况下，为了常规西格玛滤波器的应用而存储以中心像素P_C为中心的五个像素行。因此，总共存储16行像素值且存储1行块平均像素值，以便促进中心像素P_C的新值的计算。希望减少这些存储器要求。

为了对常规平坦区域滤波器的存储器要求加以改进，并增加其在图像处理管线中使用的实用性，根据本发明的实施例而揭示一种经改进的平坦区域滤波器。所述经改进的平坦区域滤波器为宏西格玛滤波器。在宏西格玛滤波器中，多像素块的平均像素值被存储，并被用作对另一像素的西格玛滤波器应用的像素元素。只有在正被滤波的像素值与所有的块平均像素值之间的差小于西格玛值时，才应用宏西格玛滤波器。这与将像素值与像素值进行比较的常规西格玛滤波器不同。宏西格玛滤波器将一像素值与若干个块平均像素值进行比较，且只有在多个值的每次比较或差异小于西格玛值的情况下才使用宏西格玛滤波器。这确保了宏西格玛滤波器仅在图像的平坦区域内应用，其中“平坦性”的程度由西格玛值界定。当西格玛值非常小时，宏西格玛滤波器仅应用于像素值相差非常小的量(即小于已经非常小的西格玛值的量)的区域。另一方面，当待滤波的像素与块平均像素值相差至少所述西格玛值时，那么并不将所述区域视为平坦，且使用常规西格玛滤波器。

图2A、图2B和图2C说明如上文所述的宏西格玛滤波器的基本概念。在图2A中，说明3×3像素块20。块20也可具有不同大小，例如5×5或9×9个像素。3×3块20包含像素P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈以及中心像素P_C。如同图1A和图1B的常规西格玛滤波器一样，块20中所表示的像素每一者为色彩类似的像素。具有不同色彩的其它像素散布在所表示的像素之间，但因为仅关于色彩类似的像素做出比较，所以仅说明色彩类似的像素。对于图2A，计算块20的平均值A，如等式2中所说明。

等式2，A＝(P₁+P₂+P₃+P₄+P_C+P₅+P₆+P₇+P₈)/9

在图2B中，宏西格玛滤波器应用于像素块P。像素块P也是3×3像素块。像素块P与其它3×3像素块20邻接。每一相邻的像素块20由根据等式2而计算出的平均像素值A₁、A₂、A₃、A₄、A₅、A₆、A₇和A₈表示。像素块P包含像素P_i，其中i从1到9变动(在3×3像素块的情况下)。

在图2C中，使用宏西格玛滤波器来个别地对像素块P的每一像素P_i进行估算和滤波。相邻块的平均像素值用于确定像素P_i的新值。如果所有的相邻块平均像素值均与像素P_i的值相差小于一西格玛值，那么像素P_i由所有的块平均像素值滤波。举例来说，对于块P中的给定像素P_i，平均值A₁等于像素值P_i加二。作为同一实例的一部分，A₂＝P_i+5、A₃＝P_i+1、A₄＝P_i+3、A₅＝P_i-2、A₆＝P_i-4、A₇＝P_i-1且A₈＝P_i+2。如果西格玛值等于七(例如)，那么所有的平均块值A₁到A₈与像素P_i的值相差小于所述西格玛值。因此，可使用宏西格玛滤波器，且像素P_i的经滤波的值由等式3决定。

等式3.P_i|_新＝(P_i+A₁+A₂+A₃+A₄+A₅+A₆+A₇+A₈)/9

在实践中，当对像素值进行滤波时，使用常规西格玛滤波器或使用宏西格玛滤波器。宏西格玛滤波器用于图像的平坦区域。通过找出滤波器核心中与待滤波的像素的值相差小于一西格玛值的所有块平均像素值来识别平坦区域。这指示核心中的像素值大体上都非常相似，且核心中的图像是大体平坦的。然而，如果即使单个块平均像素值与像素P_i相差至少所述西格玛值，那么也不将宏西格玛滤波器应用于像素P_i。而是，应用常规西格玛滤波器。

对常规平坦区域滤波器的存储器要求的额外改进被揭示为一种经改进的宏西格玛滤波器。所述经改进的宏西格玛滤波器是如上文所述的宏西格玛滤波器的变型。所述经改进的宏西格玛滤波器利用块平均像素值来对像素块P中的像素的值进行滤波，就像在宏西格玛滤波器中那样。然而，在所述经改进的宏西格玛滤波器中，包含待滤波的像素的像素块P并不位于具有对应块平均像素值的相邻像素块的中心。而是，像素块P位于其块平均像素值被用于对像素块P中的像素的值进行滤波的像素块下方。通过使像素块P在待用于滤波的像素块下游，所利用的像素块中的像素值在像素块P被读出之前被完全读出。图4说明经改进的宏西格玛滤波器100所利用的像素块的布局。在图4中，像素块P(其为5×5像素P_i块)由块平均像素值A₁到A₉修改。像素块P位于修改像素块20下方。以此方式，像素块20的值被读出，且块平均像素值在像素块P的读出之前被计算出。

块P中的像素P_i由块平均像素值A₁到A₉修改或平滑仅在块平均像素值A₁到A₉中的每一者在值方面与待修改的像素P_i的值相差小于一西格玛值的情况下发生。如果即使块平均像素值中A₁到A₉的一者具有与像素P_i的值相差至少所述西格玛值的值，那么不使用经改进的宏西格玛滤波器100来修改像素P_i。而是使用常规西格玛滤波器。

为从更加大的滤波器核心获益，可配合对应的块平均像素值使用额外的像素块。在图5的双向宏西格玛滤波器110中，计算块平均像素值A₁到A₁₂并将其应用于像素块P和Q。为了简化计算，可使用较大的块(例如，具有更多像素的块)来获得块平均像素值。在图5中，代替于使用5×5像素块，使用5×10像素块。5×10像素块具有块平均像素值T₁、T₂、U₁、U₂、L₁和L₂(分别针对两个顶部像素块、两个上部像素块以及两个下部像素块)。将经滤波的像素块划分成较小(例如，5×5个像素)的像素块P和Q，以便捕捉平坦区域上的逐渐变化，并将所得经滤波图像渲染为较少“块状”。另外，为了进一步补偿平坦区域上的任何逐渐变化，在双向宏西格玛滤波器110的实施时，将权数应用于值T₁、T₂、U₁、U₂、L₁和L₂。因此，靠近块P的左侧的像素由块平均值T₁、U₁和L₁更强地修改，而靠近块P的右侧的像素由块平均值T₂、U₂和L₂更强地修改。

图6B中说明根据本发明实施例的像素滤波过程600。程序600利用双向宏西格玛滤波器110和常规西格玛滤波器两者。还说明双向宏西格玛滤波器110和常规西格玛滤波器对图6A的像素阵列的应用。图6A说明来自像素阵列的20×20像素区域。20×20像素区域包含5×5像素块P和5×5像素块Q。像素块P包含像素P(m，n)，其中m为像素块P的行数，且n为像素块P的列数。因此，在像素块P的左上角的像素为P(1，1)。

在图6A中所说明的实例中，像素P(1，1)为待滤波的像素。这接着假定至少行1到15的像素值已经被读出(图6B的框605)。出于将变得明显且下文将阐释的原因，优选在对像素P(1，1)进行滤波之前读出像素行1到15。这允许在块像素平均值应用于像素P(1，1)之前计算块像素平均值。另外，在对像素P(1，1)进行滤波之前，将来自行14到18的像素值读取到存储器中。如果必要的话，将来自这些行的像素用于宏西格玛滤波。在对像素P(1，1)进行滤波的过程中，必须做出关于是使用双向宏西格玛滤波器110还是使用常规西格玛滤波器的决定。在图6B的过程600中，首先研究使用双向宏西格玛滤波器110的可能性。通过使用来自行1到15的像素值，计算并存储块平均像素值(框610)。因此，对于像素T₁(m，n)，计算块平均像素值T₁。类似地，还根据其相应的块中的像素来计算块平均像素值T₂、U₁、U₂、L₁和L₂。对于针对其计算块平均像素值的每一像素块，计算西格玛阈值Th(框620)。可使用许多不同的方法来确定西格玛阈值Th。举例来说，西格玛阈值可简单地为预定常数。或者，西格玛阈值可为块内的像素值的线性函数(例如，平均化函数)的结果。西格玛阈值还可为更复杂的非线性函数的结果。等式4演示每一块的西格玛阈值Th的计算，其中函数f表示用于确定西格玛阈值Th的方法。

等式4. $\begin{array}{c}{\mathrm{Th}}_{t1}=f\left(T_1\right)\\ {\mathrm{Th}}_{t2}=f\left(T_2\right)\\ {\mathrm{Th}}_{u1}=f\left(U_1\right)\\ {\mathrm{Th}}_{u2}=f\left(U_2\right)\\ {\mathrm{Th}}_{l1}=f\left(L_1\right)\\ {\mathrm{Th}}_{l2}=f\left(L_2\right)\end{array}$

在块平均像素值已被存储(图6A中的T₁、T₂、U₁、U₂、L₁和L₂)之后，将像素P(1，1)的值与块平均像素值T₁、T₂、U₁、U₂、L₁和L₂中的每一者进行比较(框630)。如果像素值P(1，1)与滤波器核心内的所有块平均像素值T₁、T₂、U₁、U₂、L₁和L₂的值相差小于针对每一块计算出的西格玛值Th_t1、Th_t2、Th_u1、Th_u2、Th₁₁和Th₁₂，那么将平坦区域滤波器应用于像素P(1，1)。等式5演示确定是否使用平坦区域滤波器所必需的比较。

等式5.

如果满足等式5的条件，那么使用平坦区域滤波器来对像素P(1，1)的值进行滤波(框650)。这意味着将像素P(1，1)的值修改为像素P(1，1)与块平均像素值T₁、T₂、U₁、U₂、L₁和L₂的平均值。然而，如之前所陈述，为了解决平坦区域内的逐渐波动，可使用经加权的平均值。对于每一块平均像素值，根据加权函数g来计算权数W(框652)。加权函数g与像素P(1，1)距加权函数所应用的像素块的水平距离dx成反比。可从像素P(1，1)到加权函数所应用的像素块的边缘来测量水平距离dx，或可从像素P(1，1)到加权函数所应用的像素块的中心来测量距离dx。在任一情况下，加权函数g均为线性的。以此方式，加权函数g解决平坦区域的水平方向上的逐渐像素值改变。还可使用(例如)等式6中演示的等式组来解决垂直方向上的逐渐像素值改变。等式6演示在几何上更接近像素P(1，1)的块的块平均像素值与几何上较远离像素P(1，1)的块的块平均像素值相比，如何被赋予更大权数。

等式6. $\begin{array}{c}{W}_{t1}=g\left(d{x}_{t1}\right)\\ W_{t2}=g\left({\mathrm{dx}}_{t2}\right)\\ W_{u1}=2g\left({\mathrm{dx}}_{u1}\right)\\ W_{u2}=2g\left({\mathrm{dx}}_{u2}\right)\\ W_{l1}=4g\left({\mathrm{dx}}_{l1}\right)\\ W_{l2}=4g\left(d{x}_{l2}\right)\\ W_{t1}+W_{t2}=8\\ W_{u1}+W_{u2}=16\\ W_{l1}+W_{l2}=32\end{array}$

等式7中展示经加权的平均值和平坦区域滤波器结果(框654)。

等式7.

如果关于像素P(1，1)，不满足等式5的条件，那么将常规西格玛滤波器应用于像素P(1，1)，如图6A中以及图6B的框640处所说明。在此情况下，像素P(1，1)变为由像素P_i组成的5×5像素块的中心像素P_C(框642)。如等式8中所演示，计算5×5块的西格玛值Th_C(框644)。举例来说，西格玛值Th_C可为5×5块中的像素P_i的标准偏差。

等式8.Th_C＝f(P_C)

在中心像素P_C与像素P_i中的每一者之间做出比较。使用在值方面与中心像素P_C的值相差小于西格玛值Th_C的那些像素P_i来根据西格玛滤波器和等式9对像素P_C进行滤波(框646)。在等式9中，且对于图6B的实例，N等于24，意味着中心像素P_C与5×5像素块中的24个其它像素P_i进行比较。

等式9.

一旦使用双向宏西格玛滤波器110或常规西格玛滤波器对像素P(1，1)进行了滤波，滤波器应用就可移位到像素P(1，2)。对于像素块P中的任一像素P(m，n)，或对于像素块Q中的任一像素Q(m，n)，如果满足等式5的条件，那么应用等式6和等式7。换句话说，无需重新计算块平均像素值T₁、T₂、U₁、U₂、L₁和L₂。只需要确定权数W和新的经滤波的像素值。如果，对于像素P(1，2)或分别在像素块P或Q中的任一其它像素P_i或Q_i，不满足等式5的条件，那么使用移位的5×5像素核心，将常规西格玛滤波器应用于像素P_i或Q_i。

应理解，将5×5像素核心用于常规西格玛滤波器或将5×10个像素块用于双向宏西格玛滤波器仅为示范性核心和块尺寸。如果需要的话，可使用其它尺寸。

本文所描述的宏西格玛滤波器在不引起大量存储器成本的情况下对上文所述的常规平坦区域滤波器加以改进。宏西格玛滤波器、经改进的宏西格玛滤波器和双向宏西格玛滤波器产生更平滑的平坦区域图像，同时维持边缘和其它精细细节。因为宏西格玛滤波器仅用于平坦区域，所以可在存在更多细节的地方使用例如常规西格玛滤波器的其它滤波器。另外，在双向宏西格玛滤波器中使用加权函数有助于去除经处理图像中的任何“成块现象”。

如可了解，宏西格玛滤波器、经改进的宏西格玛滤波器和双向宏西格玛滤波器不能够应用于图像的最初几个被分析的像素行。在上文所述的利用5×10个块和至少三行块平均像素值的实例中，双向宏西格玛滤波器不能够应用于图像的最初13行内的像素，也不能够应用于图像的最初和最后5列内的像素。使用经修改的宏西格玛滤波器或双向宏西格玛滤波器或不同滤波器(例如常规西格玛滤波器)来对这些像素进行滤波。通过使P像素块和Q像素块向上移位来修改经修改的宏西格玛滤波器或双向宏西格玛滤波器，使得在对P像素块和Q像素块中的像素的任何滤波之前，必须读出并估算的像素行较少。如果需要的话，可使像素块P和Q向上移位，使得仅图像的顶部三行不能够使用宏西格玛滤波器或双向宏西格玛滤波器来滤波。

如上文所述，可使用硬件或软件或经由硬件与软件的组合来实施平坦区域滤波器。举例来说，在半导体CMOS成像器900(如图7中所说明)中，可在图像处理器980管线内使用硬件电路来实施宏西格玛滤波器100和双向宏西格玛滤波器110。

图7说明具有包含以预定数目个列和行布置的多个像素单元的像素阵列400的半导体CMOS成像器900的简化框图。每一像素单元经配置以接收入射光子，并将所述入射光子转换成电信号。像素阵列400的像素单元在由行驱动器945响应于行地址解码器955而激活时逐行输出。列驱动器960和列地址解码器970还用于选择性地激活个别像素列。时序与控制电路950控制地址解码器955、970，以为像素读出选择适当的行线和列线。控制电路950还控制行驱动器电路945和列驱动器电路960，使得驱动电压可被施加。每一像素单元通常输出像素复位信号v_rst和像素图像信号v_sig两者，其由取样和保持电路961根据相关双取样(“CDS”)方案来读取。像素复位信号v_rst表示像素单元的复位状态。像素图像信号v_sig表示像素单元中的光传感器响应于积分周期期间所施加的光而产生的电荷的量。取样和保持电路961对像素复位信号v_rst和像素图像信号v_sig进行取样、保持和放大。取样和保持电路961输出经放大的像素复位信号V_rst和像素图像信号V_sig。V_sig与V_rst之间的差表示消除了共模噪声的实际像素单元输出。差分信号(例如，V_rst-V_sig)由差分放大器962针对每一所读出像素单元而产生。差分信号由模/数转换器975数字化。模/数转换器975向图像处理器980供应经数字化的像素信号，图像处理器980根据像素值形成数字图像并输出数字图像。输出数字图像是部分地由图像处理器980的宏西格玛滤波器100、110而产生的经滤波的图像。当然，宏西格玛滤波器100、110还可与图像处理器980分离。输入到宏西格玛滤波器100、110的像素值为差分信号V_rst-V_sig。

宏西格玛滤波器100、110可与提供彩色像素信号且不限于在CMOS成像器中使用的任何类型的图像传感器一起使用。例如，宏西格玛滤波器100、110可配合从CCD或其它类型的图像传感器获得的像素信号而使用。另外，宏西格玛滤波器100、110可在使用成像器装置的任何成像系统中使用，所述成像系统包含(但不限于)计算机系统、相机系统、扫描仪、机器视觉、交通工具导航、视频电话、监视系统、自动对焦系统、星体跟踪仪系统、运动检测系统、图像稳定化系统和其它成像系统。其中可使用所述实施例的实例性数码相机系统包含视频数码相机、具有视频选项的静态相机、蜂窝式电话相机、手持式个人数字助理(PDA)相机和其它类型的相机。本发明还可在独立的图像处理器(例如经编程以实施所描述的宏西格玛滤波器100、110的过程的个人计算机)中使用。

图8展示作为数码相机1001的一部分的典型系统1000。系统1000包含成像装置900，其包含用以实施根据上文所述实施例的宏西格玛滤波器100、110的软件或硬件。系统1000通常包括处理单元1010(例如微处理器)，其控制系统功能并经由总线1090与输入/输出(I/O)装置1020通信。成像装置900也经由总线1090与处理单元1010通信。系统1000还包含随机存取存储器(RAM)1040，且可包含可装卸存储存储器1050(例如快闪存储器)，其也经由总线1090与处理单元1010通信。当按压快门释放按钮1099时，透镜1095将图像聚焦在成像装置900的像素阵列上。

系统1000可替代地为较大处理系统(例如计算机)的一部分。通过总线1090，系统1000说明性地与其它计算机组件通信，所述组件包含(但不限于)硬盘驱动器1030和一个或一个以上可装卸存储存储器1050。成像装置900可与处理器(例如中央处理单元、数字信号处理器或微处理器)组合，其具有或不具有位于单个集成电路上或与处理器位于不同芯片上的存储器存储装置。

Claims (32)

1.一种对图像进行滤波的方法，其包括：

读出所述图像的多个像素块中的像素的像素值；

确定所述多个像素块中的每一者的块平均像素值；

对于具有在从所述多个像素块读出所述像素值之后读出的第一像素值的第一像素，识别所述第一像素值是否与所述块平均像素值相差小于所述多个像素块中的每一者的阈值，从而指示所述第一像素是否在平坦区域中；及

如果所述第一像素在平坦区域中，那么使用所述块平均像素值来平滑所述第一像素的值。

2.根据权利要求1所述的方法，其中每一块的所述阈值为每一块中的所述像素值的标准偏差。

3.根据权利要求1所述的方法，其中针对每一块中具有相同色彩的像素来确定所述块平均像素值。

4.根据权利要求3所述的方法，其中将所述第一像素值同与所述第一像素具有所述相同色彩的像素的所述块平均像素值进行比较。

5.根据权利要求1所述的方法，其中当将所述块平均像素值用于平滑所述第一像素的所述值时，对所述块平均像素值进行加权，所述加权是基于所述第一像素与相应的像素块之间的距离。

6.根据权利要求1所述的方法，其中如果所述第一像素不在平坦区域中，那么用所述第一像素的像素值和以所述第一像素为中心的窗口内的个别像素值的平均值来代替所述第一像素的所述值。

7.根据权利要求6所述的方法，其中在确定所述第一像素的代替值的过程中，仅使用与所述第一像素的所述值相差小于阈值的个别像素值。

8.一种将平坦区域滤波器应用于图像中的像素的方法，其包括：

将所述图像的区域划分成若干像素块；

确定所述像素块中的每一者的块平均像素值；及

使用所述所确定的块平均像素值来平滑位于所述区域外且位于所述像素块下游的第一像素的值，

其中只有在所述第一像素在值方面与所述块平均像素值中的每一者相差小于阈值的情况下，才使用所述块平均像素值来平滑所述第一像素的所述值。

9.根据权利要求8所述的方法，其中所述像素块中的每一者具有对应的阈值。

10.根据权利要求9所述的方法，其中所述阈值表示每一像素块的像素值的标准偏差。

11.根据权利要求8所述的方法，其中对所述块平均像素值进行加权。

12.根据权利要求11所述的方法，其中对所述块平均像素值的所述加权是基于所述第一像素与相应的像素块之间的距离。

13.一种处理图像的方法，其包括：

接收对应于捕捉到的图像的像素值；

通过以下步骤来处理所述所接收到的像素值：

确定所述所接收到的像素值的若干第一块的块平均像素值；

确定每一第一块的阈值；

找出在所述第一块的下游且在值方面与所述块平均像素值中的每一者相差小于对应的块阈值的第一像素值；及

用所述第一像素值与所述块平均像素值的平均值来代替所述第一像素值。

14.根据权利要求13所述的方法，其中所述代替所述第一像素值的步骤包括使用经加权的平均值，应用于每一块平均像素值的权数是基于所述第一像素与相应的第一块之间的距离。

15.根据权利要求13所述的方法，其中所述阈值表示每一第一块的像素值的标准偏差。

16.根据权利要求13所述的方法，其进一步包括：

找出不包含在接收到的像素值的所述第一块中且在值方面与所述块平均像素值中的任一者相差大于或等于所述对应的块阈值的第二像素值；

确定第二像素块的阈值，其中第二像素为中心像素；及

用所述第二像素值与所述第二像素块内与所述第二像素值相差小于所述第二像素块的所述阈值的像素的像素值的平均值来代替所述第二像素值。

17.根据权利要求16所述的方法，其中所述第二像素块的所述阈值表示所述第二像素块中的像素值的标准偏差。

18.一种对图像进行滤波的方法，其包括：

读出所述图像的多个像素块中的像素的像素值；

确定所述多个像素块中的每一者的块平均像素值；

对于具有第一像素值的第一像素，识别所述第一像素值是否与所述块平均像素值相差小于所述多个像素块中的每一者的阈值，从而指示所述第一像素是否在平坦区域中；及

如果所述第一像素在平坦区域中，那么使用所述块平均像素值来平滑所述第一像素的值。

19.一种实施图像滤波器的设备，所述设备包括：

第一滤波器，其对于不包含在一像素块中且在值方面与所述像素块的块平均像素值相差大于或等于一阈值的像素，利用该像素和以该像素为中心的窗口内的个别像素的像素值来平滑该像素；及

第二滤波器，其利用多个像素块的所述块平均像素值来平滑在值方面与所述块平均像素值中的每一者相差小于所述阈值且在所述第二滤波器所使用的所述像素块下游的像素。

20.根据权利要求19所述的设备，其中所述第二滤波器包含用于确定每一像素块的所述阈值的阈值函数。

21.根据权利要求20所述的设备，其中所述阈值是每一像素块内的像素值的标准偏差。

22.根据权利要求19所述的设备，其中所述第二滤波器包含用于将权数应用于所述块平均像素值的加权函数，所述加权函数是基于正被滤波的所述像素与相应的像素块之间的距离。

23.一种成像器，其包括：

像素阵列，其产生表示图像的像素值；及

处理器，其实施图像滤波器，所述图像滤波器包含第一西格玛滤波器，所述第一西格玛滤波器利用所述像素阵列的多个像素块的块平均像素值来平滑在所述第一西格玛滤波器所使用的所述像素块下游的像素，且所述像素块下游的像素在值方面与所述块平均像素值中的每一者相差小于相应的块阈值。

24.根据权利要求23所述的成像器，其中所述图像滤波器包含与所述第一西格玛滤波器不同的第二西格玛滤波器，以平滑在值方面与所述块平均像素值相差至少一阈值的像素。

25.根据权利要求24所述的成像器，其中所述第二西格玛滤波器包含用于确定待滤波的像素的阈值的阈值函数。

26.根据权利要求25所述的成像器，其中所述阈值为其中所述待滤波的像素为中心像素的像素窗口中的像素值的标准偏差。

27.根据权利要求26所述的成像器，其中所述第二西格玛滤波器通过用所述中心像素的像素值和所述像素窗口内与所述中心像素的像素值相差小于所述阈值的其它像素的像素值的平均值代替所述待滤波的像素的像素值来平滑所述待滤波的像素。

28.根据权利要求23所述的成像器，其中所述第一西格玛滤波器包含用于确定每一像素块的阈值的阈值函数。

29.根据权利要求28所述的成像器，其中所述阈值为每一像素块内的像素值的标准偏差。

30.根据权利要求28所述的成像器，其中所述第一西格玛滤波器平滑在值方面与所述块平均像素值中的每一者相差小于对应阈值的像素。

31.根据权利要求30所述的成像器，其中所述第一西格玛滤波器通过用待滤波的像素的像素值与所述块平均像素值的平均值代替所述待滤波的像素的像素值来平滑所述待滤波的像素。

32.根据权利要求23所述的成像器，其中所述第一西格玛滤波器包含用于基于正被滤波的所述像素与相应的像素块之间的距离而将权数应用于所述块平均像素值的加权函数。

Images