CN102547075A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理装置、图像处理方法和程序。该图像处理装置包括：周围对象像素随机获取部，关于与作为除噪对象的对象图像相对应的像素中的关注像素，将通过对位于所关注的关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，该周围对象像素为用于除噪滤波的像素；以及除噪部，通过使用周围对象像素来执行除噪滤波。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序。具体地，本发明涉及例如在图像除噪中可容易地防止图像质量降低的图像处理装置、图像处理方法和程序。

背景技术

例如，如日本专利公开第2005-311455号中所公开的，作为有效去除图像数据(诸如，所谓的原始数据)中所含噪声的除噪滤波器，一种通过使用条件均值滤波器(诸如，ε滤波器)来对图像数据进行滤波的方法已为人知。

利用ε滤波器，通过对平坦部分进行平均化，同时保持图像的边缘来去除噪声。

即，利用ε滤波器，例如，对应于作为除噪对象的对象图像的像素被连续选定为所关注的关注像素。此外，位于关注像素周围的周围像素中的相应一个周围像素与关注像素之间的像素值的差的绝对值落入阈值内的各周围像素均被用作平均化的对象。此外，获得每个成为平均化对象的周围像素的像素值的平均值(每个成为平均化对象的周围像素被平均化)，并且所得平均值被用作关注像素的像素值。

为了通过使用ε滤波器来增强除噪效果，已知将ε滤波器的偏移频率设定在低值处是有效的。

目前，例如，当通过利用数码相机(诸如，数字静态图像相机或者数字摄像机)进行高速图像拍摄(以高速快门速度进行的图像拍摄)来拍摄高灵敏度图像时，在一些情况下，获得信噪比(S/N比)显著劣化的图像(低S/N比图像)。

为了从低S/N比图像数据有效去除噪声，需要扩大用于藉由ε滤波器滤波的周围像素的范围，并且通过使用较大数量的周围像素来执行藉由ε滤波器的滤波。

然而，当较大数量的周围像素被用于藉由ε滤波器进行的滤波时，滤波所需的算术运算量增加，并且最终增加了处理时间和硬件规模。

因而，例如，日本专利公开第2008-153917号(下文中称为专利文献1)中提供了一种除噪方法。在此情况下，在该除噪方法中，利用给定图案削减一部分周围像素(待削减的像素的像素值所乘的抽头系数(tapcoefficient)为零，从而该抽头系数所乘以的像素的像素值基本上被削减)，并且通过使用削减后的像素(简言之，较少数量的周围像素)来执行藉由ε滤波器的滤波。

这里，当削减一部分周围像素，并且通过使用削减后的像素来执行藉由ε滤波器的滤波时，由于周围像素的削减，导致在藉由ε滤波器滤波之后的图像中产生所谓的伪影(artifact)，从而图像质量降低。

为了解决此情况，利用专利文献1中所公开的除噪方法，依据频带将对象图像的图像信号划分为低频分量和高频分量。在此情况下，对于对应于低频分量的图像，通过使用削减后的周围像素来执行藉由ε滤波器的滤波。另一方面，对于对应于高频分量的图像，执行藉由中值滤波器的滤波。此外，滤波之后对应于低频分量的图像和滤波之后对应于高频分量的图像彼此合成，从而获得除噪后的对象图像(除噪后图像)。

利用专利文献1中所公开的除噪方法，削减后的、用于藉由ε滤波器滤波的周围像素为对应于其中含有低频分量的图像信号的像素。因此，能够抑制由于周围像素的削减而导致的除噪后图像中产生的伪影(对象图像的高频分量的伪影)。因此，能够获得防止由于产生伪影而导致图像质量降低的除噪后图像。

发明内容

利用上述除噪方法，其中，根据预定图案削减一部分周围像素，并且通过使用削减后的周围像素来执行藉由ε滤波器的滤波，因为用于藉由ε滤波器滤波的周围像素的数量少，因此算术运算量变小。然而，为了防止由于除噪后图像中所产生的伪影而导致的图像质量降低，需要依据频带将对象图像的图像信号划分为低频分量和高频分量。

通过使用低通滤波器(LPF)和高通滤波器(HPF)这两者来执行将对象图像的图像信号划分为低频分量和高频分量的频带划分。然而，需要以可适当抑制伪影的方式设计来LPF，这是困难的。

此外，需要必须执行频带划分以防止由于产生伪影而导致除噪后图像的图像质量降低，这是困难的。

为解决上述问题而作出本发明，因此，期望提供一种在图像除噪中可容易地防止由于产生伪影而导致图像质量降低的图像处理装置、图像处理方法和程序。

为了实现上述期望，根据本发明的一实施方式，提供了一种图像处理装置，包括：周围对象像素随机获取部，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，获取通过对位于该关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，该周围对象像素为用于除噪滤波的像素；以及除噪部，通过使用该周围对象像素来执行除噪滤波。

根据本发明的另一实施方式，提供了一种图像处理方法，包括：关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，通过图像处理装置来获取通过对位于该关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，该周围对象像素为用于除噪滤波的像素；以及由该图像处理装置通过使用该周围对象像素来执行除噪滤波。

根据本发明的又一实施方式，提供了一种使计算机实现包括以下各部的功能的程序：周围对象像素随机获取部，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，获取通过对位于该关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，该周围对象像素为用于除噪滤波的像素；以及除噪部，通过使用该周围对象像素来执行除噪滤波。

根据本发明的实施方式，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，通过对位于该关注像素周围的周围像素进行随机采样而获得的像素被获取作为周围对象像素，该周围对象像素为用于除噪滤波的像素。此外，通过使用该周围对象像素来执行除噪滤波。

注意，该图像处理装置可为独立的装置，或者可为构成一设备或装置的内部模块。

此外，可以以通过传输介质传输程序或者将程序记录在记录介质中的方式提供该程序。

如上所述，根据本发明，在图像除噪中可容易地防止由于产生伪影而导致的图像质量的降低。

附图说明

图1为示出数码相机的整体构造的框图；

图2为示出作为根据本发明第一实施方式的图像处理装置的除噪装置的第一构造的框图；

图3为说明图2所示的除噪装置中所包括的周围像素获取部和像素削减部的处理的图；

图4为说明除噪处理的流程图；

图5为示出作为根据本发明第二实施方式的图像处理装置的除噪装置的第二构造的框图；以及

图6为示出安装有程序的计算机的构造的实例的框图。

具体实施方式

下文将参照附图对本发明的实施方式作详细描述。

1.数码相机的整体构造

图1为示出数码相机的整体构造的框图。

现参见图1，数码相机包括摄像元件11、预处理部12、光学校正部13、信号处理部14、编码解码部15、记录控制部16和记录介质17。

摄像元件11由电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)成像器等组成。摄像元件11将通过透镜单元(未示出)形成在成像区域上的光学图像进行光电转换，并且输出图像信号作为例如以拜耳(Bayer)方式排列的红、绿和蓝(RGB)像素值。

预处理部12对从摄像元件11输出的图像信号进行各种处理，诸如校正双采样处理、自动增益调整处理、模拟/数字(A/D)转换处理。此外，预处理部12将所得到的数字图像数据作为原始数据提供至光学校正部13。

例如，光学校正部13由数字信号处理器(DSP)等组成，并且对从预处理部12提供至光学校正部13的图像数据(原始数据)进行缺陷校正处理、白平衡调整处理、除噪处理等。此外，光学校正部13将所得到的图像数据作为原始数据提供至信号处理部14和记录控制部16中的每一个。

信号处理部14对从光学校正部13提供至信号处理部14的图像数据进行去马赛克处理、分辨率转换处理、γ校正处理、图像质量校正处理等。此外，信号处理部14输出关于亮度信号和色差信号的图像数据。

从信号处理部14输出的图像数据不仅被提供至编码解码部15，而且还被提供至诸如液晶面板的显示装置(未示出)。对应于从信号处理部14提供至显示装置的图像数据，显示装置在其上显示所谓的贯通图像(through Image)。

编码解码部15根据预定编码体系压缩从信号处理部14提供至其的图像数据，并且将所得到的压缩数据提供至记录控制部16。

这里，当从信号处理部14提供的图像数据为关于静态图像的图像数据时，编码解码部15根据诸如联合图像编码专家组(JPEG)的静态图像编码体系来压缩从信号处理部14提供至其的图像数据。此外，当从信号处理部14提供的图像数据为关于运动图像的图像数据时，编码解码部15根据诸如运动图像专家组(MPEG)的运动图像编码体系来压缩从信号处理部14提供至其的图像数据。

记录控制部16执行将从编码解码部15提供的压缩数据和从光学校正部13提供的原始数据记录在记录介质17中的记录控制。

例如，记录介质17为诸如存储卡的半导体存储器、诸如光盘或磁盘(硬盘)的盘状记录介质或者诸如磁带的带状记录介质。根据由记录控制部16所进行的记录控制，图像数据被记录在记录介质17中。

注意，可采用内置在数码相机中的记录介质、或者可拆卸地安装在数码相机中的记录介质、或者这两者作为记录介质17。

2.第一实施方式

[除噪装置的第一构造]

图2为示出图1所示的光学校正部13中的、根据本发明第一实施方式的用于执行除噪处理的部分(图像处理装置)的除噪装置的第一构造的框图。

现参见图2，除噪装置包括缓冲器21、关注像素获取部22、周围对象像素随机获取部23、除噪部26和控制部27。

来自预处理部12的图像数据(原始数据)作为关于作为除噪对象的对象图像的图像数据被提供至缓冲器21。

这里，下文中，为了便于描述，假设对象图像为静态图像。

例如，缓冲器21由多个线缓冲器组成，并且在其中暂时存储关于从预处理部12提供至其的对象图像的图像数据。

关注像素获取部22例如以光栅(raster)扫描次序连续地选择对应于对象图像(其上的图像数据存储在缓冲器21中)的像素，作为被关注的关注像素，并且通过从缓冲器21读出关注像素的像素值来获取关注像素，并且将如此读出的关注像素的像素值提供至除噪部26。

这里，如果需要的话，控制部27(下文将描述)可将关于摄像元件11(参见图1)的缺陷像素的信息提供给构成除噪装置的方块21至26中的每一个。

关注像素获取部22根据从控制部27提供至其的关于缺陷像素的信息来判定关注像素是否为缺陷像素。当判定关注像素为缺陷像素时，例如，关注像素获取部22采用各相邻于关注像素的多个像素的多个像素值的平均值等作为关注像素的像素值。

周围对象像素随机获取部23通过读出其图像值被存储在缓冲器21中的像素中对应于对象图像的像素的像素值，来获取通过关于这些像素中的关注像素对位于关注像素周围的周围像素进行随机采样而获得的像素，作为周围对象像素(其为用于除噪的滤波的像素)。此外，周围对象像素随机获取部23将如此获取的这些像素的像素值提供至除噪部26。

这里，参见图2，周围对象像素随机获取部23包括周围像素获取部24和像素削减部25。

例如，周围像素获取部24根据控制部27的控制来将一周围区域设定为以关注像素为中心的具有预定尺寸的矩形区域。此外，周围像素获取部24通过从缓冲器21读出在周围区域内除了关注像素以外的像素的像素值来获取这些像素，作为位于关注像素周围的周围像素，并且将如此获取的这些像素的像素值提供至像素削减部25。

像素削减部25通过对像素值被从周围像素获取部24提供至像素削减部的周围像素进行采样，来削减周围像素。此外，像素削减部25将剩余周围像素的像素值(简言之，如此采样的周围像素的像素值)作为周围对象像素(其为用于除噪滤波的像素)的像素值提供至除噪部26。

例如，除噪部26由诸如ε滤波器的条件均值滤波器组成。此外，除噪部26通过使用从关注像素获取部22提供的关注像素的像素值和从周围对象像素随机获取部23提供的周围对象像素的像素值这两者来执行相对于关注像素的除噪滤波。此外，除噪部26输出滤波之后所得到的像素值，作为通过从对象图像的图像信号去除噪声而获得的除噪后图像的关注像素的像素值。

即，例如，除噪部26由抽头系数全为1的二维ε滤波器组成。此外，利用诸如二维ε滤波器的除噪部26，周围对象像素的像素值与关注像素的像素值之间的差的绝对值均落入预定阈值内的关注像素和周围对象像素这两者均被用作加权平均化对象，抽头系数作为权数。在这种情况下，获得作为加权平均化对象的像素的像素值的加权平均值，并且加权平均值被用作除噪后图像的关注像素的像素值。

注意，因为在该情况下，ε滤波器的抽头系数全为1，所以在ε滤波器中所获得的加权平均值成为作为加权平均化对象的像素的像素值的平均值。

此外，在该情况下，采用抽头系数全为1的ε滤波器作为除噪部26。此外，然而，还可采用用于执行滤波以获得一给定区域内的像素的像素值的条件平均化的滤波器(诸如另一ε滤波器或者双边滤波器)作为除噪部26。在该情况下，在另一ε滤波器中，靠近关注像素的像素的像素值所乘以的抽头系数获得更大的值。此外，在双边滤波器中，根据与关注像素的距离和像素值差这两者来确定抽头系数。

控制部27控制构成除噪装置的方块21至26。

即，例如，控制部27获取关于摄像元件11(参见图1)的缺陷像素的信息，并且将如此获取的信息提供至关注像素获取部22等。

此外，例如，控制部27根据数码相机(参见图1)的快门速度来控制周围对象像素随机获取部23(的周围像素获取部24和像素削减部25)。

具体而言，例如，当数码相机的快门速度被设定为非高速的速度时，即，当数码相机的快门速度被设定为小于诸如用于高速图像拍摄(以高快门速度的图像拍摄)的速度的预定阈值的值时，例如，类似于现有数码相机等的除噪处理的情况，控制部27控制周围像素获取部24以设定具有预定大小(下文中也称为默认尺寸)的周围区域。

此外，控制部27将代表周围区域内的全部像素(除了关注像素)的位置的采样图案设定为代表要被随机采样的像素的位置(与作为基准的关注像素的位置的相对位置)的采样图案。此外，控制部27将关于如此设定的采样图案的数据提供至像素削减部25。

因此，在该情况下，在周围对象像素随机获取部23中，周围像素获取部24根据控制部27的控制来设定具有默认尺寸的周围区域。此外，周围对象像素随机获取部23通过从缓冲器21读出周围区域内除了关注像素以外的像素的像素值来获取周围区域内除了关注像素以外的像素的像素值，作为位于关注像素周围的周围像素的像素值。此外，周围对象像素随机获取部23将如此获取的周围像素的像素值提供至像素削减部25。

此外，像素削减部25根据数据被从控制部27提供至像素削减部的采样图案来对像素值被从周围像素获取部24提供的周围像素进行采样。此外，像素削减部25将如此采样的周围像素的像素值作为周围对象像素的像素值而被提供至除噪部26。

在该情况下，在像素削减部25中，对像素值被从周围像素获取部24提供的全部周围像素进行采样，并且所得到的周围像素的像素值作为周围对象像素的像素值而被提供至除噪部26。

因此，当数码相机的快门速度被设定为非高速的速度时，这样能够期待对具有等于或大于某一程度的S/N比的图像所进行的图像拍摄，利用ε滤波器作为除噪部26，类似于现有数码相机等的情况，通过使用在具有默认尺寸的周围区域内的全部像素来执行滤波。

另一方面，当数码相机的快门速度被设定为高速度时，即，例如，当数码相机的快门速度被设定为等于或大于预定阈值(诸如，用于高速图像拍摄的速度)的值时，结果是，S/N比显著劣化的图像被获得作为对象图像的可能性很高，为了从S/N比显著劣化的图像的图像信号有效去除噪声，控制部27控制周围像素获取部24以设定具有比默认尺寸更大的尺寸(下文中称为“大尺寸”)的周围区域。

此外，控制部27随机选择周围区域内的预定比例(诸如，像素的1/2或者1/3)的像素(除了关注像素)，并且设定代表如此选择的像素的位置的采样图案，从而将关于如此设定的采样图案的数据提供至像素削减部25。

因此，在该情况下，在周围对象像素随机获取部23中，周围像素获取部24根据控制部27的控制来设定具有大尺寸的周围区域。此外，周围像素获取部24通过从缓冲器21读出周围区域内除了关注像素以外的像素的像素值来获取周围区域内除了关注像素以外的像素的像素值，作为位于关注像素周围的周围像素的像素值，从而将周围区域内除了关注像素以外的像素的像素值提供至像素削减部25。

这里，在该情况下，周围区域的尺寸为大尺寸。因此，当这样的周围区域内的像素全部用于除噪部26中的滤波时，滤波所需的算术运算量变大。

然后，像素削减部25对像素值被从周围像素获取部24提供至像素削减部的周围像素进行(随机)采样，并且将如此采样的周围像素的像素值作为周围对象像素的像素值提供至除噪部26。

在该情况下，采样图案代表预定比例的并且从具有大尺寸的周围区域内的像素中随机选择的像素的位置。利用像素削减部25，对像素值被从周围像素获取部24提供的周围像素中的预定比例的周围像素进行随机采样，并且其像素值被提供至除噪部26。

因此，当数码相机的快门速度被设定为高速时，利用ε滤波器作为除噪部26，通过使用从具有大尺寸的周围区域内的周围像素随机选择(采样)的预定比例的周围像素(周围对象像素)来执行滤波。

这里，在代表从具有大尺寸的周围区域内的周围像素随机选择(采样)的预定比例的像素的位置的采样图案中，例如，可采用具有默认尺寸的周围区域内的像素的数量(与此接近的数量)等作为预定比例的像素的数量。

在该情况下，利用与具有默认尺寸的周围区域被设定为周围区域的情况类似的算术运算量，即，能够从S/N比显著劣化的对象图像的图像信号有效地去除噪声，同时抑制算术运算量增加。

注意，数码相机的快门速度被设定为非高速的速度时的工作模式被称为默认模式，并且数码相机的快门速度被设定为高速时的工作模式被称为高速模式。

因为默认模式中的操作与现有数码相机的操作相同，所以在以下描述中，省略对默认模式的描述，并且除非另有声明，否则给出对高速模式的描述。

[周围对象像素随机获取部23的处理的描述]

图3为说明构成图2所示的周围对象像素随机获取部23的周围像素获取部24和像素削减部25(在高速模式时)的处理的图。

如上所述，周围像素获取部24根据控制部27的控制来设定具有大尺寸的周围区域。此外，周围像素获取部24通过从缓冲器21读出作为周围区域内的像素的周围像素的像素值来获取作为周围区域内的像素(除了关注像素)的周围像素的像素值，并且将如此读出的周围像素的像素值提供至像素削减部25。

参见图3，某一像素被选择作为关注像素，并且以关注像素为中心的具有7×7像素的区域被设定为具有大尺寸的周围区域。此外，作为具有大尺寸的周围区域内的像素的周围像素的像素值被获取，并且之后被提供至像素削减部25。

此外，之后，关注像素的右手侧上紧邻的像素被选择作为新的关注像素，并且以相同处理重复之。

像素削减部25根据来自控制部27的采样图案来对像素值被从周围像素获取部24提供至像素削减部的周围像素进行采样。此外，像素削减部25将通过采样而获得的周围像素的像素值作为周围对象像素的像素值提供至除噪部26。

这里，如上所述，利用控制部27，在具有大尺寸的周围区域内随机选择预定比例的像素，并且设定代表通过随机选择而获得的像素的位置的采样图案。因此，结果是，利用像素削减部25，像素值被从周围像素获取部24提供的周围像素中的预定比例的周围像素被随机采样，并且其像素值作为周围对象像素的像素值被提供至除噪部26。

此外，利用除噪部26，不是通过使用在具有大尺寸的周围区域内的周围像素的全部像素值，而是通过使用作为预定比例的并且从周围像素中随机选择的周围像素的周围对象像素的像素值来执行滤波。因此，可有效去除噪声，同时抑制算术运算量增加。

如上所述，利用除噪装置，具有大尺寸的周围区域内的周围像素的一部分被削减。此外，通过使用作为削减后的周围像素的周围对象像素的像素值来执行滤波。

因此，由于周围像素的削减，所以在通过除噪部26中的滤波而获得的图像(除噪后图像)中产生伪影，从而图像质量降低。

上述由于伪影而导致的除噪后图像的图像质量的降低在周期性图案的部分中尤其显著。

然后，控制部27(参见图2)适当改变代表要被随机采样的像素的位置的采样图案。

即，例如，在图3中，采样图案随每个关注像素(换言之，对应于对象图像的每一个像素)而改变。

因此，利用像素削减部25，根据对于对应于对象图像的每个像素而言都不同的图案，像素值被从周围像素获取部24提供的周围像素中的预定比例的周围像素被随机采样，并且其像素值作为周围对象像素的像素值被提供至除噪部26。

如上所述，当随机执行周围像素的采样，并且随着对应于对象图像的每一个像素来改变代表要被随机采样的周围像素的位置的图案(采样图案)时，在通过除噪部26中的滤波而获得的图像(除噪后图像)中随机产生伪影(伪影的分量变得随机)。因此，伪影变得不显眼。

因此，在图像除噪中，可容易地防止由于伪影(其因削减而产生)的产生而导致的图像质量的降低。

即，即使当尽管设计适当的LPF以抑制伪影，但不执行藉由该LPF的滤波时，也能够防止由于伪影的产生而导致的图像质量的降低。

注意，可以以每次多个像素的方式来执行采样图案的改变，而不是以每次一个像素的方式执行。

此外，在图2和图3中，为了便于理解，在周围对象像素随机获取部23中，周围像素获取部24从缓冲器21读出具有大尺寸的周围区域内的周围像素的像素值。之后，像素削减部25对具有大尺寸的周围区域内的周围像素进行随机采样，从而获取用于除噪滤波的周围对象像素。然而，利用周围对象像素随机获取部23，可以通过仅从缓冲器21直接读出周围对象像素的像素值来获取周围对象像素的像素值。

此外，在上述情况下，采样图案中所含的像素的位置(可成为由采样图案代表的位置的像素的位置)并不受特定限制，简言之，可成为周围对象像素的周围像素并不受特定限制。然而，可对采样图案中所含的像素的位置强加给定限制(下文中也称为“图案限制”)。

关于图案限制，例如，能够采用摄像元件11(参见图1)的缺陷像素的位置被包含在与关注像素有关的采样图案中。

当采用缺陷像素的位置未被限定在与关注像素有关的采样图案中的方式作为图案限制时，控制部27获取关于成像图像11的缺陷像素的信息，并且设定关于关注像素的采样图案，该采样图案中不包含周围区域内的周围像素中的(周围像素成为)缺陷像素的位置。

在该情况下，能够防止由于缺陷像素成为周围对象像素并且用于噪声终端滤波的事实而导致的除噪性能的劣化。

此外，例如，能够采用所获取的与上次关注像素有关的周围对象像素中的一部分被包含在与关注像素有关的采样图案中的方式作为图案限制。

当采用所获取的与上次关注像素有关的周围对象像素中的一部分被包含在与关注像素有关的采样图案中的方式作为图案限制时，控制部27设定关于当前关注像素的采样图案，该采样图案中包含所获取的与上次关注像素有关的周围对象像素中的一部分的位置。

在该情况下，用于关于当前关注像素进行除噪滤波的周围对象像素(下文中也称为“当前周围对象像素”)中的一部分也为用于关于上次关注像素进行除噪滤波的周围对象像素(下文中也称为“上次周围对象像素”)。此外，当上次关注像素的处理被执行时，也代表为上次周围对象像素的当前周围对象像素的像素值被从缓冲器21读出。当执行当前关注像素的处理时，在上次关注像素处理中从缓冲器21读出的像素值可被锁存以待利用，因此不需从缓冲器21读出。

因此，能够减少对缓冲器21的访问次数。

此外，例如，能够采用位置由与彼此相邻的两个像素中的一个像素有关的采样图案来代表的像素和位置由与另一像素有关的采样图案来代表的像素彼此不重叠的方式作为图案限制。

当采用位置由与彼此相邻的两个像素中的一个像素有关的采样图案来代表的像素和位置由与另一像素有关的采样图案来代表的像素彼此不重叠的方式作为图案限制时，控制部27以位置由与彼此相邻的两个像素中的一个像素有关的采样图案来代表的像素和位置由与另一像素有关的采样图案来代表的像素彼此不重叠的方式(即，例如，以位置由与彼此相邻的两个像素中的一个像素有关的采样图案来代表的像素和位置由与另一像素有关的采样图案来代表的像素成为所谓嵌套状态的方式)来设定与彼此相邻的两个像素有关的采样图案。

在该情况下，因为关于彼此相邻的两个像素，成为周围对象像素的像素彼此不重叠，所以从缓冲器21可同时读出与一个像素有关的周围对象像素的像素值和与另一像素有关的周围对象像素的像素值。因此，当彼此并行执行对两个(或者两个以上)像素的两个(或者两个以上)像素值的两个(或者两个以上)处理时，可以高速地执行并行处理。

这里，当采用缺陷像素的位置不包含在与关注像素有关的采样图案中的方式作为图案限制时，例如，控制部27随机选择周围区域内的周围像素，从随机选择后的周围像素中排除(任何)缺陷像素，并且设定代表剩余周围像素的位置的采样图案。或者，例如，控制部27从周围区域内的周围像素中排除任何缺陷像素，随机选择剩余的周围像素，并且设定代表随机选择后的周围像素的位置的采样图案。

此外，当采用所获取的与上次关注像素有关的周围对象像素中的一部分的位置包含在与关注像素有关的采样图案中的方式作为图案限制时，例如，控制部27将高概率分配给与当前关注像素有关的周围区域内的周围像素中的被设定为与上次关注像素有关的周围对象像素的周围像素，并且将低概率分配给其他周围像素。此外，控制部27根据如此分配的概率随机选择与当前关注像素有关的周围区域内的周围像素，并且设定代表随机选择后的周围像素的位置的采样图案。

此外，当采用位置由与彼此相邻的两个像素中的一个像素有关的采样图案来代表的像素和位置由与另一像素有关的采样图案来代表的像素彼此不重叠的方式作为图案限制时，例如，控制部27关于彼此相邻的两个像素中的一个像素随机选择周围区域内的周围像素，并且设定代表随机选择后的周围像素的位置的采样图案。此外，控制部27从周围区域内的周围像素中排除关于一个像素而选择的周围像素(其为周围对象像素)，随机选择剩余的周围像素，并且设定代表随机选择后的周围像素的位置的采样图案。

注意，尽管上文中采用静态图像作为对象图像，并且例如，在控制部27中以每次一个对应于对象图像(为静态图像)的像素的方式来改变采样图案，但也可采用运动图像作为对象图像。

当采用运动图像作为对象图像时，利用控制部27，可以随着对象图像(为运动图像)中的以空间方向排列的每个像素以及以时间方向排列的每个像素来改变采样图案。

在该情况下，伪影在运动图像的空间方向和时间方向这两者上变得不显眼，因此关于运动图像，可容易地防止由于产生伪影而导致的图像质量的降低。

[除噪处理]

图4为说明由图2所示的除噪装置执行的除噪处理的流程图。

图像数据从预处理部12提供至除噪装置，然后作为对象图像(的图像数据)而被存储在缓冲器21中，该对象图像为除噪对象。

当关于对象图像的图像数据已被存储在缓冲器21中时，开始除噪处理。

即，在步骤S11中，例如，关注像素获取部22以光栅扫描次序选择在对应于像素值被存储在缓冲器21中的对象图像的像素中还未被设定为关注像素的像素中的第一像素，作为关注像素，并且通过从缓冲器21读出关注像素的像素值来获取关注像素。

此外，关注像素获取部22将从缓冲器21获取的关注像素的像素值提供至除噪部26，然后操作从步骤S11的处理进行到步骤S12的处理。

在步骤S12中，控制部27关于关注像素设定采样图案，并且将关于如此设定的采样图案的数据提供至周围对象像素随机获取部23。然后，操作进行到步骤S13的处理。

在步骤S13中，周围对象像素随机获取部23通过读出存储在缓冲器21中作为用于除噪滤波的周围对象像素的周围像素的像素值，根据其数据被从控制部27提供的采样图案来获取存储在缓冲器21中的周围像素的像素值。

此外，关注像素获取部22将从缓冲器21获取的周围对象像素的像素值提供至除噪部26。然后，操作从步骤S13的处理进行到步骤S14的处理。

在步骤S14中，除噪部26通过使用从关注像素获取部22提供至除噪部的关注像素的像素值和从周围对象像素随机获取部23提供至除噪部的周围对象像素的像素值这两者，来关于关注像素执行藉由ε滤波器的滤波。此外，除噪部26输出通过滤波获得的所得像素值，作为通过从对象图像的图像信号去除噪声而获得的除噪后图像的关注像素的像素值。

之后，操作从步骤S14的处理进行到步骤S15的处理。在步骤S15中，关注像素获取部22判断对应于像素值被存储在缓冲器21中的对象图像的像素是否全部已经被设定为关注像素。

当在步骤S15中判定在对应于像素值被存储在缓冲器21中的对象图像的像素中存在还未被设定为关注像素的像素时，操作返回到步骤S11的处理。在步骤S11中，关注像素获取部22以光栅扫描次序选择对应于像素值被存储在缓冲器21中的对象图像的像素中的与关注像素相邻的像素，作为新的关注像素。以相同处理重复之。

另一方面，当在步骤S15中判定对应于像素值被存储在缓冲器21中的对象图像的所有像素均已经被设定为关注像素时，除噪处理完成。

3.第二实施方式

[除噪装置的第二构造]

图5为示出图1所示的光学校正部13中的、根据本发明第二实施方式的作为用于执行除噪处理的部分(图像处理装置)的除噪装置的第二构造的框图。

注意，在图5中，与图2所示的除噪装置的部分相对应的部分分别由相同的参考标号来表示，并且为了简化起见，适当省略其描述。

利用图5所示的除噪装置，对象图像的图像信号依据频带被划分为低频分量和高频分量。此外，具有低频分量的图像的图像信号的噪声和具有高频分量的图像的图像信号的噪声被彼此独立地去除。

即，利用图5所示的除噪装置，对象图像的图像信号被提供至LPF 41和HPF 42中的每一个。

LPF 41通过对如此提供至LPF 41的对象图像的图像信号进行滤波来提取对象图像的图像信号的低频分量，并且将低频分量的图像(下文中也称为“低频分量图像”)的图像信号提供至缓冲器21。

此外，利用至控制部27的缓冲器21，对作为对象的低频分量图像执行与图2的情况相同的处理。此外，通过从低频分量图像的图像信号去除噪声而获得的所得图像(下文中也称为“除噪后低频图像”)的图像信号被从除噪部26提供至图像合成部47。

另一方面，HPF 42通过对如此提供至HPF 42的对象图像的图像信号进行滤波来提取对象图像的图像信号的高频分量，并且将高频分量的图像(下文中也称为“高频分量图像”)的图像信号提供至缓冲器43。

这里，例如，LPF 41和HPF 42这两者都以当低频分量图像和高频分量图像彼此合成时恢复对象图像的方式设计。

缓冲器43在其中暂时存储从HPF 42提供至缓冲器的高频分量图像的图像信号。

类似于关注像素获取部22的情况，例如，关注像素获取部44以光栅扫描次序选择对应于图像信号被存储在缓冲器43中的高频分量图像的像素中的每一个，通过读出如此选择的关注像素的像素值来获取关注像素的像素值，并且提供至除噪部46。

类似于周围对象像素随机获取部23的情况，例如，周围像素获取部45关于对应于图像信号被存储在缓冲器43中的高频分量图像的像素中的关注像素来获取周围区域内的所有周围像素，作为用于除噪滤波的周围对象像素。此外，周围像素获取部45将如此获取的周围对象图像的像素值提供至除噪部46。

例如，除噪部26由具有较少算术运算量的二维中值滤波器组成。此外，除噪部26通过使用从关注像素获取部44提供至除噪部的关注像素的像素值和从周围像素获取部45提供至除噪部的周围对象像素的像素值这两者，来关于关注像素执行除噪滤波。此外，除噪部26将通过滤波获得的所得像素值作为对应于其图像信号通过从高频图像的图像信号去除噪声而获得的图像(下文中也称为“除噪后高频图像”)的关注像素的像素值提供至图像合成部47。

图像合成部47将来自除噪部26的除噪后低频图像和来自除噪部46的除噪后高频图像彼此合成，并且输出合成后的所得图像的图像信号，作为通过从对象图像的图像信号去除噪声而获得的除噪后图像的图像信号。

根据图5所示的除噪装置，由LPF 41和HPF 42这两者依据频带将对象图像的图像信号划分为低频分量和高频分量，并且通过使用从周围区域内的周围像素采样的周围对象像素来对于低频分量的图像(低频分量图像)执行除噪滤波。因此，能够抑制由于采样(削减)而导致的伪影。此外，因为对于低频分量图像执行从周围像素随机采样周围对象像素，因此即使由于采样而导致产生伪影，也能够防止伪影显眼。

因此，对于低频分量图像执行从周围像素随机采样周围对象像素，从而能够防止伪影显眼。因此，关于LPF 41的设计，不需要太多地特别注意伪影的抑制。

4.第三实施方式

[程序]

一种根据本发明第三实施方式的使计算机实现包括以下各部的功能的程序：周围对象像素随机获取部23，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，获取通过对位于该关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，该周围对象像素为用于除噪滤波的像素；以及除噪部26，通过使用该周围对象像素来执行除噪滤波。

第一实施方式的除噪装置适用于第三实施方式的程序。然而，自不必说，第二实施方式的除噪装置也可适用于本发明的程序。

5.使用应用

[计算机的描述]

接着，上述系列处理可由硬件执行或者可由软件执行。当上述系列处理由软件执行时，构成软件的程序被安装在通用计算机等中。

并且，图6示出了安装有用于执行系列处理的程序的计算机的构造的实例。

程序可被预先记录在作为内置在计算机中的记录介质的硬盘105或者ROM 103中。

或者，程序可被存储(记录)在可移动记录介质111中。这样的可移动记录介质111可被提供作为所谓的套装软件。这里，给出软盘、只读存储器光盘(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等作为可移动记录介质111。

注意，除了从上述可移动记录介质111向计算机安装程序外，程序也可通过通信网络或者广播网络下载至计算机，以安装在内置在计算机中的硬盘105中。即，例如，程序可通过用于数字卫星广播的人造卫星以无线方式从下载站点传送到计算机，或者可通过诸如局域网(LAN)或互联网的网络以有线方式传送到计算机。

计算机具有内置在其中的中央处理单元(CPU)102，以及I/O接口110通过总线101连接至CPU 102。

当使用者操纵输入部107，来通过I/O接口110将指令输入给CPU 102时，CPU 102根据如此输入的指令执行存储在只读存储器(ROM)103中的程序。或者，CPU 102将存储在硬盘105中的程序加载到随机存取存储器(RAM)104中，从而执行程序。

因此，CPU 102执行符合上述流程图的处理或者基于上述框图的构造的处理。此外，例如，CPU 102通过I/O接口110从输出部106输出处理结果，从通信部108发送处理结果，或者如果需要的话，将处理结果记录在硬盘105中。

注意，输入部107由键盘、鼠标、麦克风等组成。此外，输出部106由液晶显示(LCD)装置、扬声器等组成。

这里，在本说明书中，计算机根据程序执行的处理并不一定沿着以流程图形式所描述的次序而按时间顺序执行。即，计算机根据程序所执行的处理还包括并行或者独立执行的多个预定处理(诸如，并行处理或者根据对象的处理)。

此外，程序可由一个计算机(处理器)处理，或者可由多个计算机分布式处理。此外，程序可被传送到远程计算机以被执行。

注意，本发明的实施方式决不限于上述实施方式，并且在不偏离本发明主题的情况下可作各种改变。

即，在本发明的实施方式中，例如，当数码相机的快门速度被设定为高速时，从而对象图像的S/N比显著劣化，通过使用从具有大尺寸的周围区域内的周围像素随机选择的预定比例的周围像素(周围对象像素)来执行除噪滤波。然而，可对S/N比劣化不多的图像执行使用预定比例的并且从具有大尺寸的周围区域内的周围像素随机选择的周围像素滤波。

此外，用于除噪处理的图像数据决不限于原始数据。即，例如，除了原始数据，还可对诸如亮度信号Y以及色差信号Cb和Cr的图像数据执行除噪处理。

此外，在上述实施方式中，利用光学校正部13，对从预处理部12提供的图像数据执行除噪处理。此外，然而，例如，可在信号处理部14中的紧挨着去马赛克处理之前、紧接着去马赛克处理之后或者紧接着伽玛(gamma)校正处理之后执行除噪处理。

此外，除了数码相机，本发明还可适用于用于图像处理的设备或装置，诸如电视机(TV)。

本发明包括于2010年12月10日向日本专利局提交的日本在先专利申请JP 2010-275819中所公开的主题，其全部内容结合于此作为参考。

本领域技术人员应理解，根据设计需求和其他因素，可以进行各种修改、组合、子组合和变形，均应包括在所附权利要求或其等同物的范围内。

Claims (9)

1.一种图像处理装置，包括：

周围对象像素随机获取部，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，获取通过对位于所述关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，所述周围对象像素为用于除噪滤波的像素；以及

除噪部，通过使用所述周围对象像素来执行除噪滤波。

2.根据权利要求1所述的图像处理装置，还包括：

设定部，设定代表要被随机采样的像素的位置的采样图案，

其中，所述设定部随所述对象图像的每一像素来改变采样图案，并且所述周围对象像素随机获取部根据所述采样图案来获取所述周围对象像素。

3.根据权利要求2所述的图像处理装置，其中，所述对象图像为由拍摄图像的摄像元件输出的图像，并且所述设定部设定其中不包括所述摄像元件的缺陷像素的位置的采样图案。

4.根据权利要求2所述的图像处理装置，其中，所述设定部对于所述关注像素设定其中包括关于上次的关注像素而获取的周围对象像素中的一部分的位置的采样图案。

5.根据权利要求2所述的图像处理装置，其中，所述设定部以这样的方式来设定所述采样图案，其中，位置由关于彼此相邻的两个像素中的一个像素的采样图案所代表的像素和位置由关于另一像素的采样图案所代表的像素彼此不重叠。

6.根据权利要求1所述的图像处理装置，还包括：

设定部，设定代表要被随机采样的像素的位置的采样图案，

其中，所述对象图像为运动图像，所述设定部随以空间方向排列的每个像素和以时间方向排列的每个像素来改变所述采样图案，并且所述周围对象像素随机获取部根据所述采样图案来获取所述周围对象像素。

7.根据权利要求1所述的图像处理装置，还包括：

低频分量提取部，提取所述对象图像的低频分量；

高频分量提取部，提取所述对象图像的高频分量；

高频分量用除噪部，执行关于所述高频分量的图像的除噪滤波；以及

合成部，将所述低频分量和所述高频分量彼此合成，

其中，所述周围对象像素随机获取部从与所述低频分量相对应的图像获取所述周围对象像素，

所述除噪部通过使用从与所述低频分量相对应的图像获取的所述周围对象像素来执行关于与所述低频分量相对应的图像的除噪滤波，并且

所述合成部将通过在所述除噪部中进行滤波而获得的除噪后的所述低频分量和通过在所述高频分量用除噪部中进行滤波而获得的除噪后的所述高频分量彼此合成。

8.一种图像处理方法，包括：

通过图像处理装置，关于与作为除噪对象的对象图像相对应的像素中的所关注的关注像素，获取通过对位于所述关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，所述周围对象像素为用于除噪滤波的像素；以及

由所述图像处理装置通过使用所述周围对象像素来执行除噪滤波。

9.一种使计算机实现包括以下各部的功能的程序：

周围对象像素随机获取部，关于与作为除噪对象的对象图像相对应的像素中的关注像素，获取通过对位于所关注的所述关注像素周围的周围像素进行随机采样而获得的像素作为周围对象像素，所述周围对象像素为用于除噪滤波的像素；以及

除噪部，通过使用所述周围对象像素来执行除噪滤波。

Images