CN101175152A - 图像处理设备、图像捕获设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像捕获设备、图像处理方法和允许计算机执行该方法的程序。提供一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像处理设备。所述图像处理设备包括：被配置为输入图像数据的输入单元；被配置为基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算单元；被配置为确定输入图像数据的颜色的颜色确定单元；和被配置为基于由物理特性值计算装置计算的物理特性值和根据由颜色确定装置确定的颜色的视觉特性值决定参数的参数决定单元。

Description

图像处理设备、图像捕获设备和图像处理方法

(对相关申请的交叉引用)

本发明包含与在2006年10月30日在日本专利局提交的日本专利申请JP 2006-294784有关的主题，在此引入其全部内容作为参考。

技术领域

本发明涉及图像处理设备，尤其涉及能够有效去除图像信号中包含的噪声的图像处理设备、图像捕获设备、这些设备中的图像处理方法和允许计算机执行该方法的程序。

背景技术

从诸如CCD(电荷耦合器件)的成像器件输出的RAW数据包含各种类型的噪声。作为用于有效去除噪声的方法，用于考虑人的视觉特性改变去噪声的等级的方法已广泛被人们所认识。

例如，已提出了一种用于以预定尺寸的区域为单位确定噪声被叠加到其上的图像的颜色、根据确定的颜色决定参数并根据决定的参数执行去噪声处理的图像处理方法(例如，参见专利文献1：日本未审查专利申请公开公报No.2004-40235(图1))。

发明内容

在上述相关技术中，根据预定尺寸图像的各个区域中的颜色改变用于去噪声处理的参数，因此可以颜色为单位改变去噪声的等级。

散粒噪声(shot noise)依赖于亮度(等级)，并且噪声量随信号量变大而增加。因此，如果RAW数据中包含的噪声是散粒噪声，那么根据不依赖于图像的颜色的信号量改变去噪声的等级。

但是，在上述相关技术中，虽然可以执行基于图像的颜色的去噪声处理，但是，可能不能有效去除与图像的颜色无关地改变去噪声的等级的噪声，诸如散粒噪声。

本发明针对在考虑人的视觉特性和图像信号中包含的噪声的性能的情况下有效去除噪声。

根据本发明的实施例，提供一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像处理设备。所述图像处理设备包括：用于输入图像数据的输入装置；用于基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算装置；用于确定输入图像数据的颜色的颜色确定装置；和用于基于由物理特性值计算装置计算的物理特性值和根据由颜色确定装置确定的颜色的视觉特性值决定参数的参数决定装置。并且，提供图像捕获设备、这些设备中的图像处理方法和允许计算机执行所述方法的程序。使用这种配置，可基于依赖于输入图像数据的亮度的物理特性值和根据输入图像数据的颜色的视觉特性值决定参数，并且可基于决定的参数适当地去除输入图像数据中包含的噪声。

物理特性值计算装置可基于作为一段输入图像数据的目标像素的亮度计算物理特性值。因此，可基于决定的参数适当地去除输入图像数据中包含的目标像素中的噪声。

颜色确定装置可基于包含目标像素和位于目标像素周围的多个周围像素的图像数据的颜色计算视觉特性值。因此，可基于决定的参数适当地去除输入图像数据中包含的目标像素和目标像素周围的多个周围像素中的噪声。

在去噪声处理中，可基于包含目标像素和位于目标像素周围的多个周围像素的图像数据去除输入图像数据中包含的噪声。因此，可基于决定的参数适当地去除输入图像数据中包含的目标像素和目标像素周围的多个周围像素中的噪声。

视觉特性值是作为用于校正由物理特性值计算装置计算的物理特性值的系数的校正值，并且，颜色确定装置可基于输入图像数据的颜色计算校正值。因此，可通过按照根据输入图像数据的颜色的校正值校正依赖于输入图像数据的亮度的物理特性值决定参数，并且，可基于决定的参数适当地去除输入图像数据中包含的噪声。

参数决定装置可通过将由物理特性值计算装置计算的物理特性值乘以根据由颜色确定装置确定的颜色的视觉特性值计算参数。因此，可通过使用依赖于输入图像数据的亮度的物理特性值和根据输入图像数据的颜色的视觉特性值决定适当的参数。

由输入装置输入的图像数据可以是Bayer(拜耳)阵列的图像数据。因此，可对Bayer阵列的图像数据执行适当地去除噪声的去噪声处理。

由输入装置输入的图像数据可以是从成像器件输出的RAW数据。因此，可从成像器件输出的RWA数据适当地去除噪声。

根据本发明的另一实施例，提供一种基于噪声的物理特性和人的视觉特性执行去除图像数据中包含的噪声的去噪声处理的图像处理设备。因此，可基于图像数据中包含的噪声的物理特性和关于图像数据的人的视觉特性适当地去除图像数据中包含的噪声。

指示噪声的物理特性的值是基于图像数据的亮度计算的物理特性值。指示人的视觉特性的值是基于图像数据的颜色计算的视觉特性值。在去噪声处理中，通过使用基于物理特性值和视觉特性值计算的参数去除图像数据中包含的噪声。因此，可基于依赖于图像数据的亮度的物理特性值和根据图像数据的颜色的视觉特性值计算参数，并且，可基于计算的参数适当地去除图像数据中包含的噪声。

根据上述配置，可以获得在考虑噪声的物理特性和人的视觉特性的情况下有效去除噪声的优点。

附图说明

图1是表示根据本发明的实施例的图像处理设备100的功能配置的例子的框图；

图2A、图2B和图2C在概念上表示通过输入端110输入并存储在线缓冲器(line buffer)120中的图像数据200和从图像数据200读取的Bayer阵列的图像数据300和400；

图3是表示颜色确定单元140的功能配置的例子的框图；

图4表示颜色和校正值的转换表146a，该表是在考虑人的视觉特性的情况下产生的；

图5A是表示图像的亮度和物理特性值(噪声量)之间的关系的例子的示图；

图5B是表示在假定噪声量正态分布的情况下的正态分布表(高斯函数)和物理特性值σ(x)之间的关系的示图；

图6表示目标像素201和周围的像素202～209之间的像素等级关系；以及

图7是表示由图像处理设备100执行的去噪声处理的过程的流程图。

具体实施方式

以下参照附图详细说明本发明的实施例。

在本发明的实施例中，“去噪声处理”意味着对包含噪声的图像数据执行的降低或去除噪声的图像处理。即，“去噪声”不仅包含从包含噪声的图像数据完全去除噪声，而且还包含降低噪声。

图1是表示根据本发明的实施例的图像处理设备100的功能配置的例子的框图。

图像处理设备100包含输入端110、线缓冲器120、周围像素参照单元130、颜色确定单元140、物理特性值计算单元150、参数决定单元160、去噪声单元170和输出端180。

输入端110接收由RGB的彩色信号构成的彩色信号数据(Bayer阵列的图像数据)，并将输入图像数据传送给线缓冲器120。Bayer阵列的图像数据的例子包含从诸如CCD(电荷耦合器件)的成像器件输出的RAW数据。RAW数据是与由捕获预定对象的图像的成像器件捕获的图像对应的图像数据的例子。

Bayer阵列是图2B和图2C所示的像素的阵列。即，在像素的阵列中，周期性放置基本块。各基本块包含水平方向上的两个像素×垂直方向上的两个像素。在基本块中，两个绿色像素(G)被放在对角线中的一个上，并且红色像素(R)和蓝色像素(B)被放在另一对角线上。

线缓冲器120包含用于多个线的线缓冲器，并以线为单位保持通过输入端110输入的多个线的图像数据。

图2A在概念上表示通过输入端110输入并存储在线缓冲器120中的图像数据200。图2A所示的图像数据200的尺寸由W和H表示，W是水平像素的数量，H是垂直像素的数量。表示构成图像数据200的各像素在垂直方向上的地址的变量是“i”，而指示在水平方向上的地址的变量是“j”。

周围像素参照单元130依次从存储在线缓冲器120中的几个线的图像数据读出预定尺寸的图像数据。

图2B和图2C分别在概念上表示从存储在线缓冲器120中的图像数据200读取的Bayer阵列的图像数据300和图像数据400。

例如，由周围像素参照单元130读取的预定尺寸的图像数据是图2A所示的目标像素201、包含目标像素201和多个周围像素的图2A和图2B所示的Bayer阵列的图像数据300(5×5个像素的窗口)和包含目标像素201和多个周围像素的图2A和图2C所示的Bayer阵列的图像数据400(9×9个像素的窗口)。

如图2A所示，周围像素参照单元130通过沿箭头所示的方向一个一个地移动目标像素201依次读取像素，以便读取图像数据200的所有像素。

物理特性值计算单元150基于图像数据的亮度计算作为依赖于图像数据的亮度的值的物理特性值(噪声量)。即，物理特性值计算单元150参照由周围像素参照单元130读取的目标像素201的图像数据，以根据图像数据的亮度计算物理特性值，并将计算的物理特性值输出到参数决定单元160。

颜色确定单元140确定图像数据的颜色并计算用于校正物理特性值的校正值。即，颜色确定单元140参照由周围像素参照单元130读取的Bayer阵列的图像数据300以确定与图像数据对应的图像的颜色。基于确定的颜色，颜色确定单元140计算作为用于校正目标像素201的物理特性值的系数的校正值并将计算的校正值输出到参数决定单元160。该校正值是根据确定的颜色的视觉特性值。

参数决定单元160基于从物理特性值计算单元150输出的值和从颜色确定单元140输出的值计算由去噪声单元170使用以执行去噪声处理的阈值(参数)，并将计算的阈值输出到去噪声单元170。

去噪声单元170通过使用ε滤波器等使用去噪声方法执行去噪声处理。去噪声单元170根据从参数决定单元160输出的阈值对从周围像素参照单元130供给的Bayer阵列的图像数据400执行去噪声处理。

输出端180将已由去噪声单元170执行去噪声处理的图像数据输出到外面。

进一步说明颜色确定单元140。

图3是表示颜色确定单元140的功能配置的例子的框图。

颜色确定单元140包含输入端141、相同颜色平均单元142、白平衡校正单元143、γ校正单元144、颜色分离单元145、转换表单元146和输出端147。

以下关于如图2B所示目标像素201是窗口尺寸为5×5像素的拜耳(Bayer)阵列的图像数据300中的R的情况进行说明。当目标像素201是R时，在中心具有目标像素201的Bayer阵列的图像数据300包含九个R像素、十二个G像素和四个B像素。

输入端141接收由周围像素参照单元130读取的Bayer阵列的图像数据300。

相同颜色平均单元142关于包含在通过输入端141输入的Bayer阵列的图像数据300中的RGB的各输入信号计算像素的各颜色的平均值，并将计算的各像素的平均值输出到白平衡校正单元143。特别地，相同颜色平均单元142根据下述表达式1～3将各输入信号R、G和B转换成R1、G1和B1，并将R1、G1和B1输出到白平衡校正单元143。

R1＝包含在Bayer阵列的图像数据300中的九个R像素的像素值的平均值(平均浓度)  ...  (表达式1)

G1＝包含在Bayer阵列的图像数据300中的十二个G像素的像素值的平均值(平均浓度)  ...  (表达式2)

B1＝包含在Bayer阵列的图像数据300中的四个B像素的像素值的平均值(平均浓度)  ...  (表达式3)

白平衡校正单元143根据下述表达式4～6将从相同颜色平均单元142输出的值R1、G1和B1转换成R2、G2和B2，并将值R2、G2和B2输出到γ校正单元144。

R2＝R1×R的白平衡系数...(表达式4)

G2＝G1...(表达式5)

B2＝B1×B的白平衡系数...  (表达式6)

γ校正单元144根据下述表达式7～9将从白平衡校正单元143输出的值R2、G2和B2转换成R3、G3和B3，并将值R3、G3和B3输出到颜色分离单元145。

R3＝R2×γ系数...(表达式7)

G3＝G2×γ系数...(表达式8)

B3＝B2×γ系数...(表达式9)

颜色分离单元145基于从γ校正单元144输出的各值R3、G3和B3将颜色分离成r、g和b，并将值R3、G3和B3输出到转换表单元146。

图4表示颜色和校正值的转换表146a，该表格是在考虑人的视觉特性的情况下产生的。

在转换表146a中，颜色146b、值(r、g和b)146c和校正值146d相互相关。该表被用于将从颜色分离单元145输出的值R3、G3和B3转换成校正值k。

转换表单元146参照转换表146a从值(r、g、b)146c中选择最接近从颜色分离单元145输出的R3、G3和B3的值。然后，转换表单元146选择与选择的值(r、g、b)对应的校正值k，并通过输出端147将选择的校正值k输出到外面。在从值(r、g、b)146c中选择最接近R3、G3和B3的值时，各值的颜色空间距离(矢量)被用作基准。

以下进一步说明用于在物理特性值计算单元150中计算物理特性值的方法。

首先说明噪声的物理特性。

图5A是表示图像的亮度和物理特性值(噪声量)之间的关系的例子的示图。

一般地，诸如CCD的成像器件的输出中的噪声等级(信号的标准偏差)可由固有噪声(floor noise)、光散粒噪声(optical shot noise)和不均匀灵敏度噪声的能量的和的平方根表示。具体而言，噪声等级由下述表达式10表示。

σ(x)＝√(ax²+bx+c)...(表达式10)

在该表达式中，“x”是信号量，“a”是与不平均敏感度噪声有关的常数，“b”是与光散粒噪声有关的常数，“c”是与主要包含暗电流散粒噪声和电路的热噪声的固有噪声有关的常数，并且“σ(x)”是物理特性值。但是，在处理各种类型的噪声的应用中，可根据目的忽略表达式10中的平方根中的一些项。

作为表达式10的近似表达式，通过省略不均匀灵敏度噪声的效应建立表达式11。

σ(x)＝√(bx+c)  ...(表达式11)

并且，作为表达式11的近似表达式，建立表达式12。

σ(x)＝b(√x)+c...(表达式12)

上述“a”、“b”和“c”是可根据CCD、衬底和温度等被确定的参数。测量值或基于理论值计算的值可被用作参数。

在本实施例中，通过使用表达式12基于目标像素201的信号量x计算物理特性值σ(x)。在这种情况下，信号量x和物理特性值σ(x)形成图5A所示的示图的曲线(噪声曲线)。

物理特性值计算单元150参照通过周围像素参照单元130读取的目标像素201的图像数据，根据表达式12按照与图像数据对应的图像的信号量x计算物理特性值σ(x)，并将计算的物理特性值σ(x)输出到参数决定单元160。

图5A表示在如下述表达式那样与光散粒噪声有关的常数“b”是5并且与固有噪声有关的常数“c”是100的情况下的噪声曲线的例子。

σ(x)＝5(√x)+100(信号量x：0～800)

在这种情况下，假定当信号量x是100时物理特性值σ(x)是150并且当信号量x是400时物理特性值σ(x)是200。

下面说明使用ε滤波器用于决定去噪声处理的阈值的方法。

图5B表示在假定噪声量正态分布的情况下的正态分布表(高斯函数)和物理特性值σ(x)之间的关系。

如图5B所示，当假定噪声量为正态分布时，由于物理特性值σ(x)关于信号量x是标准偏差，因此在噪声和阈值之间建立以下的关系。

当阈值是1σ时，在阈值的范围(±1σ)中包含68％的噪声。当阈值是2σ时，在阈值的范围(±2σ)中包含96％的噪声。当阈值是3σ时，在阈值的范围(±3σ)中包含99％的噪声。

由于在噪声和阈值之间建立了这种关系，因此，当在对包含噪声的图像执行的去噪声处理中将阈值设为较高时，可去除大量的噪声。但是，当将阈值设为较高时，大量的噪声被去除，由此图像的某一比例的存储的边缘成分减少。因此，当执行去噪声处理时，应考虑噪声成分和边缘成分设定适当的阈值。

特别地，当通过将阈值设为1σ来执行去噪声处理时，32％的噪声没有被去除并保留在图像中，但是，图像的相对较大的比例的边缘成分可被存储。

当通过将阈值设为2σ来执行去噪声处理时，4％的噪声保留，并且，与将阈值设为1σ的情况相比，噪声可减少28％。但是，在这种情况下，与将阈值设为1σ的情况相比，可被存储的图像的边缘成分的比例减小。

在使用双边滤波器(bilateral filter)或小波变换(wavelettransformation)以及ε滤波器的去噪声方法中，设置阈值也是很重要的。

参数决定单元160通过将从颜色确定单元140输出的校正值k乘以从物理特性值计算单元150输出的物理特性值σ(x)计算阈值kσ(x)，并将计算的阈值kσ(x)输出到去噪声单元170。这样，通过决定阈值kσ(x)，可通过考虑噪声的物理特性和人的视觉特性使用适当的阈值执行去噪声处理。

现在详细说明去噪声单元170中的去噪声方法。在本实施例中，作为例子说明使用9×9个像素的ε滤波器的去噪声方法。

在使用ε滤波器的去噪声方法中，对在中心具有目标像素的窗口中的周围像素中的被确定为“成员像素(fellow pixel)”的周围像素执行平均化。基于目标像素和周围像素之间的差值的绝对值是否处于阈值的范围中确定周围像素是否是“成员像素”。如果目标像素和周围像素之间的差值的绝对值处于阈值的范围中，那么周围像素被确定为成员像素并被视为平均化的目标。另一方面，如果目标像素和周围像素之间的差值的绝对值处于阈值的范围之外，那么周围像素被视为噪声并且不被视为平均化的目标。这样，在使用ε滤波器的去噪声方法中，具有与目标像素的值明显不同的值的像素被确定为噪声并被去除。

图6表示目标像素201和周围像素202～209之间的像素等级关系。

例如，当如图6所示在目标像素201周围存在八个周围像素202～209时，存在于以目标像素201(Rc)处于中心的阈值kσ(Rc)的范围内的周围像素203～206和209被确定为成员像素并被视为平均化的目标。另一方面，阈值kσ(Rc)的范围之外的周围像素202和207被确定为噪声并且不被视为平均化的目标。

这里，关于如图2C所示目标像素201是窗口尺寸为9×9像素的Bayer阵列的图像数据400中的R的情况进行说明。当目标像素201是R时，具有在中心的目标像素201的Bayer阵列的图像数据400具有包含目标像素201的二十五个R像素。在图2C中，目标像素201由Rc表示。

去噪声单元170根据从参数决定单元160输出的阈值kσ(Rc)对从周围像素参照单元130供给的Bayer阵列的图像数据400执行去噪声处理。特别地，在包含于Bayer阵列的图像数据400中的二十五个R像素中，存在于以目标像素201(Rc)处于中心的阈值kσ(Rc)的范围内的周围像素R被确定为成员像素并被视为平均化的目标。另一方面，阈值kσ(Rc)的范围之外的周围像素R被确定为噪声并且不被视为平均化的目标。这样，执行去噪声处理。

下面参照附图说明根据本发明的实施例的图像处理设备100的操作。

图7是表示由图像处理设备100执行的去噪声处理的过程的流程图。

一旦通过输入端110输入图像数据(步骤S900)，输入图像数据就被存储在线缓冲器120中(步骤S901)。

然后，表示构成存储在线缓冲器120中的图像数据200的各像素的垂直方向上的地址的变量i被初始化为0(步骤S902)，并且表示水平方向上的地址的变量j被初始化为0(步骤S903)。

然后，周围像素参照单元130从线缓冲器120读取包含位置(i，j)上的目标像素201和多个周围像素的Bayer阵列的图像数据400(步骤S904)。

然后，物理特性值计算单元150参照由周围像素参照单元130读取的目标像素201的图像数据，基于目标像素201的信号量x计算目标像素201的物理特性值σ(x)，并将计算的物理特性值σ(x)输出到参数决定单元160(步骤S905)。

然后，颜色确定单元140参照由周围像素参照单元130读取的Bayer阵列的图像数据300，确定Bayer阵列的图像数据300的颜色，基于确定的颜色计算校正值k，并将计算的校正值k输出到参数决定单元160(步骤S906)。

然后，参数决定单元160通过将从颜色确定单元140输出的校正值k乘以从物理特性值计算单元150输出的物理特性值σ(x)计算阈值kσ(x)，并将计算的阈值kσ(x)输出到去噪声单元170(步骤S907)。

然后，去噪声单元170根据从参数决定单元160输出的阈值kσ(x)对从周围像素参照单元130供给的Bayer阵列的图像数据400执行去噪声处理(步骤S908)。

然后，水平方向上的地址j增加1(步骤S909)，使得目标像素201的位置移动一个像素。然后，确定地址j是否比水平像素的数量W小(步骤S910)。如果满足j＜W(步骤S910)，那么重复步骤S904～S909。

另一方面，如果满足j≥W(步骤S910)，那么垂直方向上的地址i增加1(步骤S911)，使得目标像素201的位置沿垂直方向移动一个像素。然后，确定地址i是否比垂直像素的数量H小(步骤S912)。如果满足i＜H(步骤S912)，那么重复步骤S903～S911。

如果满足i≥H(步骤S912)，那么去噪声处理结束。

在上述实施例中说明了目标像素201是R的情况。在目标像素201是G或B的情况下以相同的方式执行处理，因此省略相应的说明。

下面简要说明人的视觉特性。

根据对于典型颜色的视觉特性，大多数人对黄色光和绿色光敏感。因此，如果去噪声等级对于黄色和绿色较高，那么他们感觉分辨率降低。

另一方面，大多数人对红色光和蓝色光不敏感。因此，即使去噪声等级对于红色和蓝色较高，他们也不会感觉到分辨率降低。

并且，根据对于对象的颜色的视觉特性，人对脸部的颜色的变化敏感。因此，去噪声等级被设为对肤色(flesh color)较高以在许多情况下产生漂亮的肤色。

并且，人对天空的颜色的变化敏感。因此，去噪声等级被设为对天空颜色较高以在许多情况下产生漂亮的天空颜色。

例如，在仅基于图像的颜色确定用于去噪声处理的参数时，如果绿色的阈值被设为较低，并且如果红色的阈值被设为较高，那么去噪声的等级可根据设定的颜色变化。但是，在图像信号上叠加的噪声的性能与人的视觉特性无关。因此，如果不考虑噪声的物理特性，那么不可能对暗红和淡绿执行适当的去噪声。

因此，在本实施例中，通过计算依赖于亮度的物理特性值来考虑噪声的物理特性，并且还通过根据图像的颜色校正物理特性值来考虑人的视觉特性。使用该方法，根据本实施例，可通过考虑噪声的物理特性和人的视觉特性有效地去除噪声。

并且，根据本实施例，通过在同时考虑的人的视觉特性和噪声的物理特性的情况下决定去噪声处理的参数，执行去噪声处理。因此，可获得视觉上自然的图像。

并且，根据本实施例，与不均匀敏感度噪声有关的常数“a”、与光散粒噪声有关的常数“b”和与固有噪声有关的常数“c”是可根据CCD、衬底和温度等决定的参数。由于噪声的物理特性值是在考虑这些常数的情况下被计算的，因此可在不同的系统之间应用去噪声的效果。

并且，根据本实施例，如果假定噪声是正态分布的，那么可事先基于决定的阈值计算多少噪声可被去除。

在本实施例中，当物理特性值计算单元150计算物理特性值σ(x)时，目标像素的信号量的值按原样被使用。作为替代方案，通过在使用LPF、ε滤波器或中值滤波器(median filter)的去噪声处理之后，使用作为信号量x的值，计算物理特性值σ(x)。

作为替代方案，可在考虑白平衡系数的效果的情况下，基于已调整白平衡的图像数据计算物理特性值σ(x)。

并且，可通过测量屏幕的OB(光学黑体(optical black))区域中的标准偏差获得拍摄时的散粒噪声，使得散粒噪声与由于温度增加导致的噪声的变化对应。

在本实施例中，当颜色确定单元140计算校正值k时，可使用通过根据r、g和b值的颜色空间距离插入与近似的r、g和b值对应的校正值k获得值。例如，可基于r、g和b值的颜色空间距离中的距离的比率计算校正值k。

当颜色确定单元140计算校正值k时，使用由R、G和B的颜色构成的图像数据。作为替代方案，可使用由C、M和Y的补色构成的图像数据。

当颜色确定单元140计算校正值k时，白平衡值可被固定并被简化。

当颜色确定单元140计算校正值k时，使用窗口中的各颜色的平均值。作为替代方案，也可使用中间值、LPF值或ε滤波器值。

当颜色确定单元140计算校正值k时，考虑到暗色部分中的噪声被γ曲线强调，对于诸如褐色的暗色的校正值k可被设为较大。

由于γ校正单元144用于考虑γ曲线的效果，因此可基于执行γ反向校正的颜色空间执行颜色确定，使得γ校正单元144可被省略。

在上述实施例中，通过将校正值k乘以物理特性值σ(x)计算阈值kσ(x)。如果在考虑噪声的物理特性和人的视觉特性的情况下决定适当的阈值，那么可通过诸如加上校正值k和物理特性值σ(x)的另一计算来计算阈值。

当去噪声单元170通过使用ε滤波器执行平均化时，执行平均化的各像素可被加权。例如，可根据目标像素和各像素之间的距离改变权重。

在上述实施例中，说明了使用ε滤波器的去噪声方法。作替代方案，可通过使用预定的参数使用代替ε滤波器的小波变换、双边滤波器或三边滤波器执行去噪声处理。

可通过使用小波变换作为去噪声方法，应用本实施例作为中心化(coring)的阈值决定方法。

并且，本实施例可被应用于在频带划分(band division)之后执行的去噪声处理。并且，可通过设定根据带改变的阈值执行去噪声处理。

现在说明作为ε滤波器以外的滤波器的例子的双边滤波器。

双边滤波器是用于根据等级差异执行加权的滤波器。以下说明使用高斯函数作为权重函数的例子。

高斯函数可被表示为N(μ，σ²)(N(均值，方差))。

当满足以下表达式时：噪声(x)＝b(√x)+c；和

阈值(x)＝k(x)×noise(x)时，双边滤波器使用N(0，(阈值(x))²)的高斯函数。

即，双边滤波器在物理特性值(噪声量)较大时使用扩散高斯函数，并在颜色校正值较大时使用另一扩散高斯函数。

在上述实施例中，采用Bayer阵列作为像素阵列。作为替代方案，可应用Bayer阵列以外的像素阵列。

在上述实施例中，图像数据300的窗口尺寸是5×5，并且图像数据400的窗口尺寸是9×9。也可以使用其它的窗口尺寸，并且目标区域可以是可变的。

此外，由颜色确定单元140使用的像素阵列的窗口尺寸可以与由去噪声单元170使用的窗口尺寸相同。

在上述实施例中说明了图像处理设备。本实施例也可被应用于诸如数字照相机的图像捕获设备或诸如具有这种配置的个人计算机的图像处理设备。

本发明的实施例是用于实施本发明的例子并且与下面说明的权利要求中的特定元件具有对应关系。但是，本发明不限于上述实施例，在不背离本发明的范围的条件下，可以提出各种变更方案。

即，图像处理设备与图像处理设备100对应。

输入装置与输入端110对应。物理特性值计算装置与物理特性值计算单元150对应。参数决定装置与参数确定单元140对应。参数决定装置与参数决定单元160对应。由去噪声单元170执行去噪声处理。

基于噪声的物理特性和人的视觉特性执行去除图像数据中包含的噪声的去噪声处理的图像处理设备与图像处理设备100对应。

图像捕获设备与图像处理设备100对应。

输入与步骤S900对应。计算物理特性值与步骤S905对应。确定颜色与步骤S906对应。决定参数与步骤S907对应。

在本发明的实施例中说明的处理的过程可被视为具有一系列的步骤的方法，或者可被视为允许计算机执行一系列步骤的程序和存储程序的记录介质。

Claims (15)

1.一种基于预定参数执行去除图像数据中包含的噪声的去噪声处理的图像处理设备，该图像处理设备包括：

用于输入图像数据的输入装置；

用于基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算装置；

用于确定输入图像数据的颜色的颜色确定装置；和

用于基于由物理特性值计算装置计算的物理特性值和根据由颜色确定装置确定的颜色的视觉特性值决定参数的参数决定装置。

2.根据权利要求1所述的图像处理设备，

其中，物理特性值计算装置基于作为一段输入图像数据的目标像素的亮度计算物理特性值。

3.根据权利要求2所述的图像处理设备，

其中，颜色确定装置基于包含目标像素和位于目标像素周围的多个周围像素的图像数据的颜色计算视觉特性值。

4.根据权利要求2所述的图像处理设备，

其中，在去噪声处理中，基于包含目标像素和位于目标像素周围的多个周围像素的图像数据去除输入图像数据中包含的噪声。

5.根据权利要求1所述的图像处理设备，

其中，视觉特性值是作为用于校正由物理特性值计算装置计算的物理特性值的系数的校正值，并且

其中，颜色确定装置基于输入图像数据的颜色计算校正值。

6.根据权利要求1所述的图像处理设备，

其中，参数决定装置通过将由物理特性值计算装置计算的物理特性值乘以根据由颜色确定装置确定的颜色的视觉特性值来计算参数。

7.根据权利要求1所述的图像处理设备，

其中，由输入装置输入的图像数据是拜耳阵列的图像数据。

8.根据权利要求1所述的图像处理设备，

其中，由输入装置输入的图像数据是从成像器件输出的RAW数据。

9.一种基于噪声的物理特性和人的视觉特性执行去除图像数据中包含的噪声的去噪声处理的图像处理设备。

10.根据权利要求9所述的图像处理设备，

其中，指示噪声的物理特性的值是基于图像数据的亮度计算的物理特性值，

其中，指示人的视觉特性的值是基于图像数据的颜色计算的视觉特性值，并且

其中，在去噪声处理中，通过使用基于物理特性值和视觉特性值计算的参数去除图像数据中包含的噪声。

11.一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像捕获设备，该图像捕获设备包括：

用于输入与由捕获预定对象的图像的成像器件捕获的图像对应的图像数据的输入装置；

用于基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算装置；

用于确定输入图像数据的颜色的颜色确定装置；和

用于基于由物理特性值计算装置计算的物理特性值和根据由颜色确定装置确定的颜色的视觉特性值决定参数的参数决定装置。

12.一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像处理方法，该图像处理方法包括：

输入图像数据；

基于输入图像数据的亮度计算依赖于亮度的物理特性值；

确定输入图像数据的颜色；和

基于在计算步骤中计算的物理特性值和根据在确定步骤中确定的颜色的视觉特性值决定参数。

13.一种程序，允许计算机在基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像处理设备中执行：

输入图像数据；

基于输入图像数据的亮度计算依赖于亮度的物理特性值；

确定输入图像数据的颜色；和

基于在计算中计算的物理特性值和根据在确定中确定的颜色的视觉特性值决定参数。

14.一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像处理设备，该图像处理设备包括：

被配置为输入图像数据的输入单元；

被配置为基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算单元；

被配置为确定输入图像数据的颜色的颜色确定单元；和

被配置为基于由物理特性值计算单元计算的物理特性值和根据由颜色确定单元确定的颜色的视觉特性值决定参数的参数决定单元。

15.一种基于预定的参数执行去除图像数据中包含的噪声的去噪声处理的图像捕获设备，该图像捕获设备包括：

被配置为输入与由捕获预定对象的图像的成像器件捕获的图像对应的图像数据的输入单元；

被配置为基于输入图像数据的亮度计算依赖于亮度的物理特性值的物理特性值计算单元；

被配置为确定输入图像数据的颜色的颜色确定单元；和

被配置为基于由物理特性值计算单元计算的物理特性值和根据由颜色确定单元确定的颜色的视觉特性值决定参数的参数决定单元。

Images