CN102385746A - 图像处理装置及其方法,以及程序 - Google Patents

Abstract

本发明公开了图像处理装置及其方法，以及程序。提供了一种图像处理装置，包括：频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用计算出的频度值和计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。

Description

图像处理装置及其方法,以及程序

技术领域

本公开涉及图像处理装置及其方法，以及程序，并且具体地，涉及能够在提高图像信号处理的画质性能的同时抑制负荷增加的图像处理装置及其方法，以及程序。 

背景技术

作为图像处理技术之一，一般使用边缘保留平滑。边缘保留平滑是一种用于平滑灰阶(grayscale)同时使得图像中的物体边界等的显著亮度水平差依然残留的非线性滤波处理。边缘保留平滑已被用在降噪处理或灰阶校正处理中(例如，参见A.Lev，S.W.Zucker，A.Rosenfeld，″Iterative enhancement of noise images″，IEEE Trans.Systems，Man，and Cybernetics，Vol.SMC-7，1977；D.C.C.Wang，A.H.Vagnucci，C.C.Li，″Gradient inverse weighted smoothing scheme and the evaluation of its performance″，CVGIP，Vol.15，pp.167-181，1981；M.Nagao，T.Matsuyama，″Edge preserving smoothing″，CGIP，Vol.9，pp.394-407，1978；F.Durand，J.Dorsey，″Fast bilateral filtering for the display of high-dynamic-range images″，Proc.of ACM SIGGRAPH 2002，2002；以及S.N.Pattanaik，H.Yee，″Adaptive gain control for high dynamic range image display″，Proc.of Spring Conference in Computer Graphics 2002，2002)。 

在该边缘保留平滑中，近年来，常常使用称为双边滤波器的技术。在该双边滤波器中，运算量远大于常规线性FIR(有限冲激响应)滤波器等中的运算量。因此，已提出了加速双边滤波器计算的方法(例如，参见F.Durand，J.Dorsey，″Fast bilateral filtering for the display of high-dynamic-range images″，Proc.of ACM SIGGRAPH 2002，2002和Weiss，″Fast median and bilateral filtering″，Proc.of ACM SIGGRAPH 2006，2006)。 

另外，还提出了通过对信号进行抽取的双边滤波器的高速计算方法(例如，参见S.Paris et al.″A Fast Approximation of the Bilateral Filter using a Signal Processing Approach″，eccv 2006；日本未实审专利申请公报No.2009-177558(US2011/0050934)；以及日本未实审专利申请公报No.2010-003297(US2009/0317015))。 

在上述处理中，使得输入信号的分辨率被降低的抽取信号是通过使用图像的每个区域和水平的信号的出现频度(局部直方图)而被创建的，并且通过相对于抽取信号进行卷积并且然后扩展滤波器核来减少双边滤波器的计算量。另外，与局部直方图的每个区间(bin)相对应的像素的亮度值的总和(下面称为特性值)被用于滤波器计算。 

发明内容

然而，在上述方法中，存在这样的担心，当局部直方图的分辨率被降低以抑制处理成本时，双边滤波器的计算精度也被降低。 

另外，存在这样的担心，对于平坦输入图像特别容易出现误差。 

在很大程度上可以通过设置局部直方图的分辨率(区间的数目)来缓解这样的问题。然而，由于需要2倍的区间数目以通过分辨率将计算精度提高1比特，因此担心诸如计算量或存储容量之类的滤波负荷会增加。 

希望在提高图像信号处理的画质性能的同时抑制负荷的增加。 

根据本公开的一个实施例，提供了一种图像处理装置，包括：频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。 

频度值计算部件可以包括：权重计算部件，其计算权重，该权重用于 以小数精度来扩展在分配输入图像的像素时的计数值，以及频度值更新部件，其利用由权重计算部件计算出的权重来更新多个部分区域的频度值，并且特性值计算部件可以包括：权重相乘部件，其将输入图像的亮度值与由权重计算部件计算出的权重相乘，以及特性值更新部件，其利用被权重相乘部件乘以了权重的输入图像的亮度值来更新多个部分区域的特性值。 

权重计算部件可以根据预定加权函数来计算各个部分区域的权重。 

频度值计算部件还可以包括对输入图像的像素进行抽取的抽取部件，并且权重计算部件可以相对于经抽取部件抽取的输入图像的像素来计算各个部分区域的权重。 

抽取部件可以以与权重计算部件计算出的权重的小数精度相对应的抽取比率来抽取输入图像的像素。 

图像处理装置还可以包括空间模式确定部件，该空间模式确定部件确定表示输入图像的内容的空间模式，并且抽取部件可以以与通过空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取输入图像的像素。 

空间模式确定部件可以确定输入图像的每个部分区域的空间模式，并且抽取部件可以针对每个部分区域，以根据经由空间模式确定部件执行的空间模式分析结果的抽取比率来抽取输入图像的像素。 

根据本公开的另一实施例，存在一种图像处理装置的图像处理方法，包括：致使频度值计算部件将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；致使特性值计算部件计算表示部分区域的特性的特性值；以及致使加权乘积之和部件通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。 

根据本公开的另一实施例，提供了一种程序，该程序使得计算机用 作：频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。 

根据本公开的另一实施例，输入图像的每个像素被分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给部分区域的像素数目的频度值时，输入图像的一个像素被分配给多个部分区域，以更新部分区域的频度值；表示部分区域的特性的特性值被计算出；并且通过利用计算出的频度值和计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。 

根据本公开的实施例，能够处理图像。具体地，能够在提高图形信号处理的画质性能的同时抑制负荷的增加。 

附图说明

图1A至图1C是图示出双边滤波器的概况的示图。 

图2A和图2B是图示出相关技术中的双边滤波器的块直方图计算部件和块积分值计算部件的主要配置示例的框图。 

图3A和图3B是图示出相关技术中的双边滤波器的处理的状态的示图。 

图4A至图4C是图示出相关技术中的双边滤波器的处理的状态的示图。 

图5A至图5D是图示出相关技术中的双边滤波器的处理的状态的示图。 

图6是图示出应用了本公开的实施例的数字摄像机的主要配置示例的框图。 

图7是图示出DSP的主要配置示例的框图。 

图8是图示出拜耳阵列的示图。 

图9是图示出灰阶校正处理部件的主要配置示例的框图。 

图10是图示出亮度灰阶校正部件的主要配置示例的框图。 

图11是图示出块直方图计算部件和块积分值计算部件的主要配置示例的框图。 

图12A至图12C是图示出权重的示例的示图。 

图13A和图13B是图示出权重的示例的示图。 

图14是图示出加权函数的示例的示图。 

图15是图示出误差特性的差异的示图。 

图16A和图16B是图示出双边滤波器的处理的状态的示图。 

图17是图示出加权乘积之和部件的主要配置示例的框图。 

图18是图示出图像处理的流程的示例的流程图。 

图19是图示出灰阶校正处理的流程的示例的流程图。 

图20是图示出灰阶校正处理的流程的示例的延续图19的流程图。 

图21是图示出用于块直方图计算的像素处理的示例的流程图。 

图22是图示出用于块积分值计算的像素处理的示例的流程图。 

图23是图示出用于块积分值计算的像素处理的示例的流程图。 

图24A和图24B是图示出块直方图计算部件和块积分值计算部件的主要配置示例的框图。 

图25是图示出用于块直方图计算的像素处理的示例的流程图。 

图26是图示出用于块积分值计算的像素处理的示例的流程图。 

图27是图示出根据空间模式的加权函数的示例的示图。 

图28是图示出亮度灰阶校正部件的主要配置示例的框图。 

图29是图示出空间模式分析部件的主要配置示例的框图。 

图30是图示出信号强度的示例的示图。 

图31是图示出块直方图计算部件的主要配置示例的框图。 

图32是图示出块积分值计算部件的主要配置示例的框图。 

图33是图示出灰阶校正处理的流程的示例的流程图。 

图34是图示出灰阶校正处理的流程的示例的延续图33的流程图。 

图35是图示出空间模式分析处理的流程的示例的流程图。 

图36是图示出空间模式确定处理的流程的示例的流程图。 

图37是图示出用于块直方图计算的像素处理的示例的流程图。 

图38是图示出用于块积分值计算的像素处理的示例的流程图。 

图39A和图39B是图示出使用每个局部部分的直方图的示例的示图。 

图40是图示出块直方图计算部件的主要配置示例的框图。 

图41是图示出块积分值计算部件的主要配置示例的框图。 

图42是图示出用于块直方图计算的像素处理的示例的流程图。 

图43是图示出应用了本公开的实施例的个人计算机的主要配置示例的框图。 

具体实施方式

下面，将描述用于实现本发明的多个实施例(下面称为实施例)。 

同时，将按以下顺序对其进行描述。 

1.第一实施例(双边滤波器) 

2.第二实施例(双边滤波器) 

3.第三实施例(双边滤波器) 

4.第四实施例(双边滤波器) 

5.第五实施例(个人计算机) 

<1.第一实施例> 

[双边滤波器的概况] 

作为图像处理技术之一，已知了边缘保留平滑。边缘保留平滑是一种用于平滑灰阶同时使得图像中的物体边界等的显著亮度水平差依然残留的非线性滤波处理。 

例如，如图1A所示，具有高(明亮)亮度的区域2和具有(暗)低亮度的区域3被包括在一个图像1中。该图像1的虚线上的像素值(亮度 值)例如等于图1B的曲线图中所示的曲线4。在图1B中，水平轴表示图像1的水平方向上的位置，并且垂直轴表示每个像素的像素值(亮度值)。 

如图1B中的曲线4所示，图1A的虚线上的像素的像素值在区域2的部分(4A)与区域3的部分(4C)之间的边界附近急剧变化(4B)。另外，在区域2的部分(4A)和区域3的部分(4C)中，像素值例如由于噪声分量等而分别微小地变化。 

边缘保留平滑按原样留下了指示这样的亮度值改变的、曲线4中具有急剧变化的部分(4B)，而仅去除(减少)了因噪声等引起的区域2的部分(4A)和区域3的部分(4C)中微小变化。即，通过边缘保留平滑，亮度值从图1B所示的曲线4变为图1C所示的曲线5。 

边缘保留平滑去除了微小亮度变化而维持了影响视觉的物体轮廓，因此已被用在降噪处理中一段时间了。 

另外，边缘保留平滑由于能够分离物体内的纹理中的微小亮度变化与物理轮廓的显著亮度水平差的特性而不会改变由纹理表示的细节组成部分，并且还被用在灰阶校正处理中用于压缩其它组成部分的亮度差。 

在这样的边缘保留平滑中，近年来，称为双边滤波器的技术常常被使用。通常，在如下面的等式(1)所示的用于图像的双边滤波器BLF(pc)中，算术运算被执行，其中，通过加权函数ω(p-pc)在空间方向上并且通过加权函数 

在亮度值方向上被加权的像素位置pc周围的像素的像素值I(p)被添加。 

$\mathrm{BLF}\left(\mathrm{pc}\right)=\frac{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-\mathrm{pc})\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(\mathrm{pc}\right))\&CenterDot;I\left(p\right)}{\underset{p\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\mathrm{\&omega;}(p-\mathrm{pc})\&CenterDot;\mathrm{\&phi;}(I\left(p\right)-I\left(\mathrm{pc}\right))}...\left(1\right)$

同时，在等式(1)中，右手侧的分母表示权重值的归一化系数。F.Durand，J.Dorsey，″Fast bilateral filtering for the display of high-dynamic-range images″，Proc.of ACM SIGGRAPH 2002，2002公开了一种使用了这样的双边滤波器的灰阶校正处理技术。 

如等式(1)所示，在双边滤波器中，取决于中心像素pc的亮度值，对局部区域中的每个像素p的加权会改变。因此，需要重新计算每个像素 的权重值，因此运算量比常规线性FIR(有限冲激响应)滤波器等中的大得多。F.Durand，J.Dorsey，″Fast bilateral filtering for the display of high-dynamic-range images″，Proc.of ACM SIGGRAPH 2002，2002和Weiss，″Fast median and bilateral filtering″，Proc.of ACM SIGGRAPH 2006，2006公开了加速双边滤波器计算以便克服这样的双边滤波器的缺点的方法。在这些方法中，利用针对图像的每个部分区域(块)所定义的亮度的局部直方图(下面称为块直方图)来执行高速运算。 

图2A示出了高速双边滤波器处理中的内部块直方图计算部件的主要配置示例。图2A所示的块直方图计算部件10是计算每个区间中包括每个像素的像素值的频度的处理部件，并且包括块选择部件11、计数器12-1至12-N，以及块直方图存储器13。 

块选择部件11根据将被处理的像素的位置p和将被处理的提供来的像素的亮度值L(nl)(p)来指定将被处理的该像素所属的亮度块，并且将与各个亮度块相对应的计数器12-1至12-N中与所指定亮度块相对应的计数器的值增加1。 

亮度块指示每个部分区域，每个部分区域是通过将图像的每个像素的亮度值和位置的可能范围的整体在空间方向和亮度方向上划分为多个单位而获得的。例如，当亮度图像的每个像素的位置的可能范围在宽度方向上被划分为W个单位并在高度方向上被划分为H个单位，并且每个像素的亮度值的可能范围在亮度方向上被划分为D个单位时，亮度块(部分区域)的数目N为W×H×D。 

在此情况中，块直方图计算部件10被提供与这N个亮度块的每个相对应的N个计数器12-1至12-N。当亮度块被指定时，块选择部件11递增与该亮度块相对应的计数器的值。 

计数器12-1至12-N的每个维护对应亮度块中的像素的频度值，即，指示属于该亮度块的像素的数目的值，并且根据块选择部件11的指示来递增所维护的值。另外，当一帧的亮度图像的像素计数结束时，计数器12-1至12-N的每个将所维护的值作为块直方图提供给块直方图存储器13。同时，在下面，当不需要分别将计数器12-1至12-N彼此区分开时， 它们被简称为计数器12。 

图2B示出了位于双边滤波器内的块积分值计算部件的主要配置示例。块积分值相当于上面提到的特性值。图2B所示的块积分值计算部件20是用于计算通过将每个区间的频度乘以每个区间的中央值而获得的积分值的处理部件，并且包括块选择部件21、积分器22-1至22-N，以及块积分值存储器23。 

块选择部件21根据将被处理的像素的位置p和将被处理的提供来的像素的亮度值L(nl)(p)来指定将被处理的该像素所属的亮度块，并且将亮度值L(nl)(p)提供给与各个亮度块相对应的积分器22-1至22-N中与所指定亮度块相对应的积分器。 

积分器22-1至22-N的每个对从块选择部件21提供来的亮度值L(nl)(p)积分，并且求出对应亮度块的块积分值。另外，当一帧亮度图像的像素的像素值之和被求出并且块积分值被求出时，积分器22-1至22-N的每个将块积分值提供给块积分值存储器23。 

积分器22-1至22-N的每个分别被提供有加法部件31-1至31-N和寄存器32-1至32-N。加法部件31-1至31-N的每个将从块选择部件21提供来的亮度值L(nl)(p)与记录在寄存器32-1至32-N的每个中的值相加，并且将得到的值记录在寄存器32-1至32-N的每个中。即，所提供来的亮度值L(nl)(p)的总和被记录在寄存器32-1至32-N的每个中。 

寄存器32-1至32-N的每个记录从加法部件31-1至31-N提供来的值，并且将所记录值提供给加法部件31-1至31-N的每个以及块积分值存储器23。 

同时，在下面，当不需要分别将积分器22-1至22-N彼此区分开时，它们被简称为积分器22。另外，在下面，当不需要分别将加法部件31-1至31-N彼此区分开时，它们被简称为加法器31，并且当不需要分别将寄存器32-1至32-N彼此区分开时，它们被简称为寄存器32。 

通过对信号进行抽取的双边滤波器的类似高速计算方法在S.Paris et al.″A Fast Approximation of the Bilateral Filter using a Signal Processing Approach″，eccv 2006，日本未实审专利申请公报No.2009-177558 (US2011/0050934)，和日本未实审专利申请公报No.2010-003297(US2009/0317015)中被提出。在上述处理中，使得输入信号的分辨率被降低的抽取信号是通过使用图像的每个区域和水平的信号的出现频度(局部直方图)而被创建的，并且通过相对于抽取信号进行卷积并且然后扩展滤波器核来减少双边滤波器的计算量。在这些方法中，抽取信号的较低空间分辨率或者直方图的较低分辨率(较小的区间数目)对于抑制处理成本是重要的。 

然而，在上述方法中，存在的问题在于，当局部直方图的分辨率被降低以抑制处理成本时，双边滤波器的计算精度也容易降低。特别地，当输入信号是平滑渐变信号时，容易发生精度的降低。 

例如，即使在具有与图3A所示相同的形式的输入信号(信号41至44)中，滤波器输出的特性也会由于其水平的差异而改变(信号51至54)，如图3B所示。 

这示出了双边滤波器的特性由于计算精度的降低而变得不稳定。这样的问题是在输入信号的水平集中在局部直方图中的单个区间上时由于渐变信息的丢失而引起的。 

例如，考虑这样的情况，其中，由于给出如图4A所示的输入图像和平滑渐变模式，因此亮度波动较小。于是，如图4B所示，根据区间范围和输入亮度之间的关系，计算结果被集中在每个局部直方图的单个区间上或者被分散到多个区间。结果，如图4C所示，出现的问题在于最后的滤波器结果变得不均(不均：渐变倾斜度不平坦)。 

另外，在上述方法中，与局部直方图的每个区间相对应的像素的亮度值的总和(下面称为特性值)被用于滤波器计算。作为高效地计算特性值的方法，提出了这样的方法，其中，对于每个区间，根据其频度和区间中央的水平来求出特性值。然而，当使用该方法时，存在的问题在于：对于平坦输入图像特别容易出现误差。 

现在考虑与直方图的任何区间的端部相对应的水平的输入信号(图5A)。局部直方图相对于该输入被计算。在此阶段中，区间中央处的水平的信息丢失。因此，特性值根据局部直方图被求出，并且区间中央值在据 此计算滤波器输出时被输出，从而出现误差(图5B)。该误差中存在水平依赖性，因此，区间中央的水平的误差最小(图5C和图5D)并且区间端部的水平的误差最大。 

可以通过设置局部直方图的分辨率(区间的数目)来在很大程度上缓解这样的问题。然而，由于需要2倍的区间数目以通过分辨率将计算精度提高1比特，因此存在的问题在于计算量或存储器量变得巨大。该问题是由于区间中央的水平的信息未被反映在局部直方图的计算中的事实而产生的。因此，要改进局部直方图的计算，从而使得区间中央处的水平的信息能够被反映。具体地，直方图的计数在多个区间上被执行。 

[数字摄像机的配置示例] 

图6是图示出应用了本发明的数字摄像机的实施例的框图。图6所示的数字摄像机100捕获被摄体的图像，并且显示该被摄体的图像或记录图像数据。 

该数字摄像机100包括透镜101、光圈102、图像传感器103、相关双采样电路(CDS)104、DSP(数字信号处理器)块106、定时生成器(TG)107、LCD(液晶显示器)驱动器108和LCD 109。此外，该数字摄像机100包括CODEC(编码器/解码器)110、存储器111、CPU(中央处理单元)112、输入设备113和总线114。 

同时，DSP块106是由信号处理处理器(例如DSP)和保存图像数据的诸如RAM(随机存取存储器)之类的存储器等构成的块，并且通过由处理器执行预定程序来执行后面描述的图像处理。另外，在下面，DSP块106被简称为DSP 106。 

来自被摄体的入射光经过由透镜101、光圈102等构成的光学系统首先到达图像传感器103。图像传感器103例如包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)图像传感器之类的任意成像元件，并且将入射光光电转换为电信号。 

虽然图像传感器103可以是任何类型(只要其可以执行光电转换即可)，但是图像传感器优选地是具有较宽动态范围的传感器并且可以捕获 从被摄体的黑暗部分到其明亮部分的图像而不会饱和或生成噪声。 

由相关双采样电路104从自图像传感器103输出的电信号中去除噪声，并且该电信号被A/D转换器105数字化。虽然A/D转换器105可以是任何类型，但是优选地是能够将电信号转换为具有较大数目的灰阶的数字数据的转换器。例如，A/D转换器105可以将输入电信号转换为具有比常规数字摄像机的灰阶数目(例如，可由10至12比特等的数据来表示的灰阶数目)大的灰阶数目(例如，可由14至16比特等的数据来表示的灰阶数目)的图像数据。 

由A/D转换器105数字化的图像数据被临时存储在DSP 106内的存储器中。定时生成器107控制由相关双采样电路104、A/D转换器105和DSP 106构成的信号处理系统，以使得图像数据以恒定帧率被获取。即，图像数据的流以恒定帧率被提供给DSP 106。 

DSP 106对图像数据执行后面描述的图像处理以使得图像数据的动态范围例如变成能够被LCD 109显示的动态范围，并且然后根据需要将执行了图像处理的图像数据提供给LCD驱动器108或CODEC 110。 

LCD驱动器108将从DSP 106提供来的图像数据转换为模拟图像信号。LCD驱动器108将模拟图像信号提供给作为该数字摄像机的取景器的LCD 109，并且基于图像信号来显示图像。 

CODEC 110通过预定方法对从DSP 106提供来的图像数据进行编码，并且将经编码图像数据记录在例如任意记录介质的存储器111中，任意记录介质例如是半导体、磁记录介质、磁光记录介质或光记录介质。 

CPU 112例如基于通过使用户操作输入设备113而输入的命令等来控制整个数字摄像机100的处理，输入设备113由诸如快门按钮之类的操作按钮等构成。另外，DSP 106、定时生成器107、CODEC 110、存储器111、LCD 109、CPU 112和输入设备113通过总线114互连。 

[DSP的配置示例] 

图7是图示出具有通过使DSP 106的内部处理器(算术运算单元)执行预定程序而实现的功能的配置示例的框图。DSP 106的内部处理器执行 预定程序，从而使得包括如下部件的功能被实现：白平衡处理部件131、去马赛克(demosaic)处理部件132、灰阶校正处理部件133、伽马校正处理部件134和YC转换处理部件135。 

白平衡处理部件131获取马赛克图像，该马赛克图像是诸如由A/D转换器105进行了A/D转换的运动图像之类的图像数据。马赛克图像是这样的图像，其中，与R、G和B中的任何颜色分量相对应的数据被存储在一个像素中并且各个像素是根据如图8所示的被称为拜耳(Bayer)阵列的颜色阵列来布置的，并且也被称为RAW数据。 

在图8中，一个方块表示一个像素，并且方块内的字符R、G和B分别表示R像素、G像素和B像素。G像素以棋盘格形式被布置，并且R像素和B像素对于其余部分中的每行交替被布置。 

返回图7的描述，白平衡处理部件131通过向所获得的马赛克图像的每个像素的像素值添加适当系数，来调节马赛克图像的白平衡以使得被摄体的非彩色部分的色平衡真正变为非彩色。白平衡处理部件131将调节了白平衡的马赛克图像提供给去马赛克处理部件132。同时，在下面，被调节了白平衡的马赛克图像被设为Mw。 

去马赛克处理部件132对从白平衡处理部件131提供来的马赛克图像Mw执行去马赛克处理，该处理使得一个像素具有所有的R、G和B分量。由此，分别与三个颜色分量R、G和B相对应的R图像、G图像和B图像的三个图像数据组被生成。去马赛克处理部件132将所生成的R图像、G图像和B图像的三个图像数据组提供给灰阶校正处理部件133。 

同时，在下面，R图像、G图像和B图像的三个图像数据组将被总地称为RGB图像。另外，在下面，马赛克图像的像素位置p中的像素值被设为M(p)。此外，在下面，在去马赛克处理中执行的图像数据的像素位置p中的像素值被设为[Rw(p)，Gw(p)，Bw(p)]。这里，Rw(p)是R分量的像素值，Gw(p)是G分量的像素值，并且Bw(p)是B分量的像素值。 

灰阶校正处理部件133对RGB图像执行灰阶校正处理，并且将被执行了灰阶校正处理的RGB图像提供给伽马校正处理部件134。同时，在下面，被执行了灰阶校正处理的图像数据的像素位置p中的像素值被设为 [Ru(p)，Gu(p)，Bu(p)]。这里，Ru(p)是R分量的像素值，Gu(p)是G分量的像素值，并且Bu(p)是B分量的像素值。 

伽马校正处理部件134对经过灰阶转换的RGB图像执行伽马校正。伽马校正处理部件134将被执行了伽马校正的RGB图像提供给YC转换处理部件135。同时，在下面，被执行了伽马校正的图像数据的像素位置p中的像素值被设为[Ruγ(p)，Guγ(p)，Buγ(p)]。这里，Ruγ(p)是R分量的像素值，Guγ(p)是G分量的像素值，并且Buγ(p)是B分量的像素值。 

YC转换处理部件135对被执行了伽马校正的RGB图像执行YC矩阵处理和针对色度分量的带域限制，从而生成包括亮度分量(Y分量)的Y图像和包括色差分量(Cb或Cr分量)的C图像。YC转换处理部件135按照需要将所生成的Y图像和C图像提供给LCD驱动器108或CODEC110。同时，在下面，从YC转换处理部件135输出的图像数据的像素位置p中的像素值被设为[Y(p)，C(p)]。这里，Y(p)是Y图像中的亮度分量的值，并且C(p)是C图像中的色差分量的值。另外，在下面，C图像的Cb分量被称为Cb(p)，并且C图像的Cr分量被称为Cr(p)。 

[灰阶校正处理部件的配置示例] 

图9是图示出灰阶校正处理部件133的功能的配置示例的框图。灰阶校正处理部件133包括亮度计算部件151、非线性转换部件152、亮度灰阶校正部件153、非线性转换部件154-1至154-3、灰阶校正部件155-1至155-3，以及非线性逆转换部件156-1至156-3。 

亮度计算部件151根据从去马赛克处理部件132提供来的RGB图像的像素值Rw(p)，Gw(p)和Bw(p)来计算与该像素位置相对应的亮度分量的值(亮度值L(p))，并且将该值提供给非线性转换部件152。非线性转换部件152非线性地转换从亮度计算部件151提供来的亮度值L(p)，并且将作为结果获得的亮度值L(nl)(p)提供给亮度灰阶校正部件153和灰阶校正部件155-1至155-3。 

亮度灰阶校正部件153通过压缩从非线性转换部件152提供来的亮度值L(nl)(p)的灰阶来对亮度值L(nl)(p)执行灰阶校正，并且将通过灰阶校正 获得的亮度值Lu(nl)(p)提供给灰阶校正部件155-1至155-3。 

非线性转换部件154-1至154-3的每个非线性地转换从去马赛克处理部件132提供来的RGB图像的像素值Rw(p)，Gw(p)和Bw(p)的每个。另外，非线性转换部件154-1至154-3的每个将通过非线性转换获得的像素值R(nl)(p)，G(nl)(p)和B(nl)(p)的每个提供给灰阶校正部件155-1至155-3。同时，在下面，当不必分别将非线性转换部件154-1至154-3彼此区分开时，它们将被简称为非线性转换部件154。 

灰阶校正部件155-1至155-3的每个利用从非线性转换部件152提供来的亮度值L(nl)(p)和从亮度灰阶校正部件153提供来的亮度值Lu(nl)(p)，来对从非线性转换部件154-1至154-3提供来的像素值R(nl)(p)，G(nl)(p)和B(nl)(p)的每个执行灰阶校正。灰阶校正部件155-1至155-3的每个将通过灰阶校正获得的像素值Ru(nl)(p)，Gu(nl)(p)和Bu(nl)(p)的每个提供给非线性逆转换部件156-1至156-3的每个。 

非线性逆转换部件156-1至156-3的每个对从灰阶校正部件155-1至155-3提供来的像素值Ru(nl)(p)，Gu(nl)(p)和Bu(nl)(p)的每个执行非线性逆转换，该非线性逆转换是由非线性转换部件154执行的非线性转换的逆转换。非线性逆转换部件156-1至156-3的每个将通过非线性逆转换获得的像素值Ru(p)，Gu(p)和Bu(p)的每个提供给伽马校正处理部件134。 

同时，在下面，当不必分别将灰阶校正部件155-1至155-3彼此区分开时，它们将被简称为灰阶校正部件155。另外，在下面，当不必分别将非线性逆转换部件156-1至156-3彼此区分开时，它们将被简称为非线性逆转换部件156。 

[亮度灰阶校正部件的配置示例] 

图10是图示出具有图9的亮度灰阶校正部件153的功能的配置的示例的框图。如图10所示，亮度灰阶校正部件153包括亮度区域信息计算部件171、亮度区域信息存储器172、块直方图计算部件173、块直方图存储器174、块积分值计算部件175和块积分值存储器176。另外，亮度灰阶校正部件153包括加权乘积之和部件177、色调曲线(tone curve)计算部 件178、色调曲线存储器179、映射部件180、映射部件181和对比度校正部件182。 

亮度区域信息计算部件171、块直方图计算部件173和块积分值计算部件175计算RGB图像的广域的信息，并且执行用于更新每帧的信息的处理。 

即，亮度区域信息计算部件171求出外围值(skirt value)并且将外围值作为亮度区域信息存储在亮度区域信息存储器172中，外围值是从非线性转换部件152提供来的具有亮度值L(nl)(p)的一帧图像(下面称为亮度图像)的像素的亮度值的直方图中暗亮度侧和明亮度侧上的外围部分的亮度值。亮度区域信息存储器172临时记录从亮度区域信息计算部件171提供来的亮度区域信息，并且将亮度区域信息提供给色调曲线计算部件178。 

块直方图计算部件173将从非线性转换部件152提供来的具有亮度值L(nl)(p)的一帧亮度图像在空间方向上划分为多个空间块(区域)，并且还在亮度方向上划分空间块，以形成亮度块。 

这里，亮度块是由空间块内的像素中具有在针对该亮度块预先确定的亮度范围内的亮度值的像素构成的。因此，例如，当一空间块被划分为D个亮度块时，亮度值的可能范围预先被划分为D个范围，并且空间块内的像素取决于其亮度值是否是D个范围中的任何范围内的值而被分类到D个亮度块中的任何亮度块中。 

另外，块直方图计算部件173求出通过划分亮度图像获得的每个亮度块的像素的频度值，并且将该频度值作为块直方图提供给块直方图存储器174。即，块直方图指示属于(被分类到)每个亮度块的像素的数目。块直方图存储器174临时记录从块直方图计算部件173提供来的块直方图，并且将块直方图提供给加权乘积之和部件177。 

块积分值计算部件175根据从非线性转换部件152提供来的具有亮度值L(nl)(p)的一帧亮度图像，对于每个亮度块，计算属于该亮度块的像素的亮度值的积分值(总和)，并且将计算出的积分值作为块积分值提供给块积分值存储器176。块积分值存储器176临时记录从块积分值计算部件 175提供来的块积分值，并且将该块积分值提供给加权乘积之和部件177。 

同时，在下面，亮度区域信息、块直方图和块积分值也被称为中间数据。用作中间数据的亮度区域信息、块直方图和块积分值在亮度区域信息存储器172、块直方图存储器174和块积分值存储器176中仅被维持亮度图像(RGB图像)的一帧时间，并且针对每帧被更新。 

另外，由于在相关技术中需要几乎一帧时间来计算中间数据，因此所生成的中间数据实际上在下一帧的图像信息被输入时被使用。然而，在灰阶校正处理部件133中，由于用于计算中间数据的处理和用于利用中间数据执行RGB图像的灰阶校正的处理并发地被执行，因此甚至可以实时地对运动图像数据执行处理。 

加权乘积之和部件177根据从非线性转换部件152提供来的亮度值L(nl)(p)、从块直方图存储器174提供来的块直方图以及从块积分值存储器176提供来的块积分值，来计算总体亮度值(general luminance value)Ll(nl)(p)，该总体亮度值是包括具有亮度值L(nl)(p)的亮度图像的极低频分量的图像(下面被称为总体亮度图像)的亮度值。 

即，利用从在时间上紧邻将被处理的帧之前的帧的亮度图像(RGB图像)求出的块直方图和块积分值，具有所提供亮度值L(nl)(p)的像素的总体亮度值Ll(nl)(p)被计算出。这里，换言之，总体亮度值是与RGB图像上的像素所属的物体区域的平均亮度相当的信息，即，指示包括像素的物体区域的平均明度的亮度值。 

同时，在下面，将被处理的该像素，例如，提供给亮度灰阶校正部件153的具有亮度值L(nl)(p)的像素也称为将被处理的像素。 

另外，加权乘积之和部件177将计算出的总体亮度值Ll(nl)(p)提供给色调曲线计算部件178和映射部件180。 

色调曲线计算部件178根据从亮度区域信息存储器172提供来的亮度区域信息和从加权乘积之和部件177提供来的总体亮度值Ll(nl)(p)，来计算所应用的色调曲线的形状以便压缩亮度值的灰阶，并且将计算结果提供给色调曲线存储器179。色调曲线存储器179记录从色调曲线计算部件 178提供来的色调曲线，并且将所记录的色调曲线提供给映射部件180、映射部件181和对比度校正部件182。 

映射部件180基于记录在色调曲线存储器179中的色调曲线来压缩(校正)从加权乘积之和部件177提供来的总体亮度值Ll(nl)(p)的灰阶，并且将通过灰阶校正获得的总体亮度值Lcl(nl)(p)提供给对比度校正部件182。映射部件181基于记录在色调曲线存储器179中的色调曲线来压缩(校正)从非线性转换部件152提供来的亮度值L(nl)(p)的灰阶，并且将通过灰阶校正获得的亮度值Lc(nl)(p)提供给对比度校正部件182。 

对比度校正部件182基于从映射部件180提供来的总体亮度值Lcl(nl)(p)、从映射部件181提供来的亮度值Lc(nl)(p)以及记录在色调曲线存储器179中的色调曲线，来校正具有通过灰阶压缩获得的亮度值Lc(nl)(p)的亮度图像的对比度。另外，对比度校正部件182将通过校正对比度获得的亮度值Lu(nl)(p)提供给灰阶校正部件155。 

[块直方图计算部件的配置示例] 

图11的(A)部分是图示出图10的块直方图计算部件173的功能的配置示例的示图。图11的(A)部分所示的块直方图计算部件173对应于图2A的块直方图计算部件10。然而，在图11的(A)部分所示的示例的情况中，块直方图计算部件173改进了局部直方图的计算，从而使得区间中央处的水平的信息能够得到反映。 

更具体地，对直方图的计数在多个区间上被执行。因此，块直方图计算部件173在小数方向上扩展计数的单位。

块直方图计算部件173包括权重计算部件201以及计数器202-1至202-N。 

权重计算部件201根据从非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)和将被处理的该像素的位置p来指定将被处理的该像素所属的亮度块，并且计算与提供来的亮度值相对应的权重。权重计算部件201将计算出的权重提供给与各个亮度块相对应的计数器202-1至202-N中的与所指定亮度块相对应的计数器。 

这里，亮度图像在宽度方向上被划分为W个空间块并且在高度方向上被划分为H个空间块。此外，每个空间块被划分为D个亮度块，并且亮度图像被划分为总共N(＝W×H×D)个亮度块。在此情况中，块直方图计算部件173被提供有与这N个亮度块的每个相对应的N个计数器202-1至202-N。 

下面，当不必将计数器202-1至202-N彼此区分开时，它们将被简称为计数器202。 

从权重计算部件201提供给其权重的计数器202将该权重与所维护的值相加。当对一帧权重的计数结束时，计数器202将所维护值(从权重计算部件201提供来的权重的总和)作为该块的块直方图提供给块直方图存储器174并存储在其中。计数器202然后初始化所维护的值。 

同时，权重计算部件201将计算出的权重提供给计数器202，并且还将该权重提供给块积分值计算部件175。 

[块积分值计算部件的配置示例] 

图11的(B)部分是图示出图10的块积分值计算部件175的功能的配置示例的示图。图11的(B)部分所示的块积分值计算部件175对应于图2B的块积分值计算部件20。然而，在图11的(B)部分所示示例的情况中，块积分值计算部件175改进了局部直方图的计算，从而使得区间(亮度块)中央的水平的信息能够得到反映。 

块积分值计算部件175包括权重相乘部件231和积分器232-1至232-N。下面，当不必将积分器232-1至232-N彼此区分开时，它们将被简称为积分器232。 

权重相乘部件231根据从非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)和将被处理的该像素的位置p来指定将被处理的该像素所属的亮度块，将输入信号L(nl)(p)乘以从权重计算部件201提供来的权重，并且将乘法结果提供给与各个亮度块相对应的积分器232-1至232-N中的与所指定亮度块相对应的积分器232。 

积分器232将乘法结果与从权重相乘部件231提供来的所维护值相 加。以这种方式，当针对一帧的乘法结果之和被计算出时，积分器232将乘法结果之和作为块积分值提供给块积分值存储器176并存储在其中。积分器232然后初始化所维护的值。 

积分器232-1至232-N中的每个分别包括加法部件241-1至241-N和寄存器242-1至242-N。下面，当不必将加法部件241-1至241-N彼此区分开时，它们将被简称为加法部件241。另外，在下面，当不必将寄存器242-1至242-N彼此区分开时，它们将被简称为寄存器242。 

加法部件241将从权重相乘部件231提供来的乘法结果与记录在寄存器242中的值相加，并且将相加结果存储在寄存器242中。寄存器242存储提供来的乘法结果的总和。寄存器242存储从加法部件241提供来的值，并且适当地将所存储值提供给加法部件241或块积分值存储器176。 

同时，加法部件251可被提供来取代块积分值计算部件175，如图11的(C)部分所示。加法部件251将存储在块直方图存储器174中的块直方图的频度值(权重之和)乘以区间(亮度块)的中央值，并且将乘法结果作为块积分值提供给块积分值存储器176并存储在其中。 

即，在图11的(B)部分所示的示例的情况中，特性值(块积分值)是从亮度值的总和求出的。另一方面，在图11的(C)部分的情况中，特性值(块积分值)是从块直方图的频度值和区间的中央值求出的。 

[加权函数] 

如上面提到的，直方图的计数在多个区间上被执行，并且因此，计数的单位在小数方向上被扩展。例如，如图12A所示，区间(亮度块)A的中央值被设为13，接下来的区间B的中央值被设为14，并且接下来的区间C的中央值被设为15。在这样的亮度块中，例如，如图12A所示，图2A的块直方图计算部件10在亮度值小于13.5时仅对区间A计数，在亮度值等于或大于13.5且小于14.5时仅对区间B计数，并且在亮度值等于或大于14.5时仅对区间C计数。 

另一方面，图11的(A)部分的块直方图计算部件173在小数方向上将计数单位扩展1比特，并且例如，如图12B所示，在亮度值等于或大于 13.25且小于13.75时，即，在区间A与区间B之间的中间水平的平坦图像被输入时，对这两个区间计数。即，例如，如图12C所示，区间A被计以0.5，并且区间B被计以0.5。以这种方式，块直方图计算部件173消除了区间的计数的偏倚，结果，使得能够减小输出误差。 

所扩展的比特数可以是2比特或更多比特。即，所扩展宽度进一步被增加，并且用于确定每个区间的计数量(权重)的加权函数可被定义。 

该加权函数的状态在图13中示出。图13A是由块直方图计算部件10执行的计数的状态被表达为加权函数的示图。如图13A所示，在此情况中的每个区间的加权函数中，与每个区间相当的整个范围的值被设为“1”并且除此以外的范围被设为“0”。 

另一方面，例如，如图13B所示，块直方图计算部件173在小数方向上将计数单位扩展为比图12的示例更多的值，并且定义加权函数。在此情况中，加权函数被定义为使得所有区间的权重的总和相对于某个输入值被设为1.0。以这种方式，类似于相关技术的情况(图13A的示例)，计数值可被当作统计量。即，每个区间的计数值指示频度。 

同时，块积分值计算部件175对块直方图计算部件173计算出的权重进行乘法。即，在块直方图计算部件173中定义的加权函数也被应用于块积分值计算部件175。 

该加权函数是任意的。图14示出了在该情况中当输入为DC信号时加权函数和误差分布的示例。 

例如，曲线图261-1的曲线261A将常规直方图表达为加权函数。在此情况中的误差分布如曲线图261-2的直线261B所示。曲线图262-1的曲线262A示出了加权函数以S形状被形成的情况中的示例。在此情况中的误差分布如曲线图262-2的曲线262B所示。曲线图263-1的曲线263A示出了加权函数以直线(线性)被形成的情况中的示例。在此情况中的误差分布如曲线图263-2的曲线263B所示。曲线图264-1的曲线264A示出了加权函数以反转S形状被形成的情况中的示例。在此情况中的误差分布如曲线图264-2的曲线264B所示。 

当然，加权函数可以采取这些函数以外的函数。优选地，加权函数取 决于所期望的用途来设置。当使用反转S形状的加权函数时，DC信号的输入中的误差进一步被减小。然而，同时，由于使得直方图的分布被平滑的动作，而使得双边滤波器的边缘保留特性恶化。因此，例如，当DC信号的误差成为问题时可以使用反转S形状的加权函数，并且当滤波器的边缘保留特性重要时可以使用S形状的加权函数。另外，当难以指定用途时或者当容易安装较重要时，优选使用线性特性的加权函数。 

图15示出了由于直方图计算方法之间的差别而引起的误差特性的差别的示例。直线271示出了常规方法(图2的示例中的情况)的误差特性的示例。曲线272示出了当区间数目被设置为常规方法中的两倍时的误差特性的示例。曲线273示出了当图14所示的加权函数2的示例在4比特的小数精度下被应用时的误差特性的示例。 

如图15所示，通过应用加权函数2获得了与增加区间数目的情况中相同程度的精度提高效果。即，简单地通过添加小数精度的4比特存储器和线性特性的加权函数，在与区间数被设置为常规方法中的两倍的情况相同的程度上提高了精度。换言之，当常规方法的直方图的比特精度为4比特以上时，通过利用小数精度的方法，与将区间数设为常规方法中的两倍的情况相比可以进一步减少计算量或存储器量。 

图16A和16B示出了当小数精度被添加3比特时的滤波器输出。在此情况中，精度被提高，并且因此，相对于图16A所示的与图3A所示的信号相同的输入信号(信号41至44)，稳定的滤波器输出(信号281至284)被获得而不取决于输入亮度，如图16B所示。 

[加权乘积之和部件的配置示例] 

图17是图示出图10的加权乘积之和部件177的功能的配置示例的示图。如图17所示，加权乘积之和部件177包括插值部件291、插值部件292、空间加权函数维护部件293、乘积之和部件294、乘积之和部件295、亮度加权函数维护部件296和除法部件297。 

插值部件291针对亮度图像上的具有从非线性转换部件152提供来的亮度值L(nl)(p)的像素的位置，即，将被处理的像素的位置，来求出针对 亮度块的亮度范围的每个中央值被插值的块积分值，从而将块积分值设置为亮度积分值，并且将该亮度积分值提供给乘积之和部件294。即，当亮度块内的像素的亮度值的可能范围中的中央值被设为λ时，插值部件291将从将被处理的像素的空间方向附近的4×4个空间块划分得到的每个亮度块中，其中央值是λ的16个亮度块的块积分值的每个乘以插值系数，并且通过求出被乘以插值系数的块积分值之和来求出针对中央值λ的亮度积分值。 

换言之，插值部件291通过执行将被处理的像素附近中的亮度块的块积分值被使用的插值处理，来求出针对每个中央值λ的亮度积分值。由此，针对每个中央值λ的D个亮度积分值被求出。这里，与每个块积分值相乘的插值系数是基于将被处理的像素的位置与将被处理的像素附近的空间块之间的相对位置关系来从空间加权函数维护部件293中所维护的空间加权函数查找表中读出的。 

插值部件292针对亮度图像上的具有从非线性转换部件152提供来的亮度值L(nl)(p)的像素的位置，即，将被处理的像素的位置，来求出针对亮度块的亮度范围中的每个中央值被插值的块直方图，从而将块直方图设为亮度直方图，并且将亮度直方图提供给乘积之和部件295。即，插值部件292将从将被处理的像素的空间方向附近的4×4个空间块划分得到的每个亮度块中，其中央值是λ的16个亮度块的块直方图的每个乘以插值系数，并且通过求出被乘以插值系数的块直方图之和来求出针对中央值λ的亮度直方图。 

换言之，插值部件292通过执行将被处理的像素附近的亮度块的块直方图被使用的插值处理，来求出针对每个中央值λ的亮度直方图。由此，针对每个中央值λ的D个亮度直方图被求出。这里，与每个块直方图相乘的插值系数是基于将被处理的像素的位置与将被处理的像素附近的空间块之间的相对位置关系来从空间加权函数维护部件293中所维护的空间加权函数查找表中读出的。 

乘积之和部件294执行用于对从插值部件291提供来的D个亮度积分值与亮度权重值的乘积进行求和的计算，并且将该乘积之和亮度积分值提 供给除法部件297。即，亮度积分值与亮度权重值的乘积之和被求出。这里，与亮度积分值相乘的亮度权重值是基于从非线性转换部件152提供给乘积之和部件294的亮度值L(nl)(p)以及中央值λ，根据亮度加权函数维护部件296中所维护的亮度加权函数查找表中的亮度加权函数计算出的。 

乘积之和部件295执行用于对从插值部件292提供来的D个亮度直方图与亮度权重值的乘积进行求和的计算，并且将该乘积之和亮度直方图提供给除法部件297。即，亮度直方图与亮度权重值的乘积之和被求出。这里，与亮度直方图相乘的亮度权重值是基于从非线性转换部件152提供给乘积之和部件295的亮度值L(nl)(p)以及中央值λ，根据亮度加权函数维护部件296中所维护的亮度加权函数查找表中的亮度加权函数计算出的。 

除法部件297将从乘积之和部件294提供来的亮度乘积之和值除以从乘积之和部件295提供来的亮度直方图，来计算将被处理的像素的总体亮度值Ll(nl)(p)，并且将该总体亮度值提供给色调曲线计算部件178和映射部件180。 

[图像处理的流程] 

接下来，将参考图18的流程图描述由DSP 106执行的图像处理。同时，例如，当图6的数字摄像机100执行的图像捕获开始并且图像数据(马赛克图像)的流开始从A/D转换器105提供给DSP 106时，该处理开始。另外，提供给DSP 106的图像数据依次地被存储在DSP 106的内部存储器(未示出)中。 

在步骤S101，白平衡处理部件131读取马赛克图像。具体地，白平衡处理部件131读取存储在DSP 106的内部存储器(未示出)中的排头帧的马赛克图像。 

在步骤S102中，白平衡处理部件131调节所获得的马赛克图像的白平衡，并且将调节了白平衡的马赛克图像提供给去马赛克处理部件132。 

在步骤S103中，去马赛克处理部件132执行去马赛克处理。即，去马赛克处理部件132对从白平衡处理部件131提供来的马赛克图像执行去马赛克处理以生成RGB图像，并且将该RGB图像提供给灰阶校正处理部 件133。 

在步骤S104中，灰阶校正处理部件133执行灰阶校正处理，并且校正从去马赛克处理部件132提供来的RGB图像的灰阶。灰阶校正处理部件133将校正了其灰阶的RGB图像提供给伽马校正处理部件134。同时，后面将描述灰阶校正处理的细节。 

在步骤S105，伽马校正处理部件134对从灰阶校正处理部件133提供来的RGB图像执行伽马校正，并且将得到的图像提供给YC转换处理部件135。 

在步骤S106，YC转换处理部件135执行YC转换处理。例如，YC转换处理部件135对从伽马校正处理部件134提供来的RGB图像执行YC矩阵处理和针对色度分量的带域限制，从而从该RGB图像生成Y图像和C图像。 

在步骤S107，YC转换处理部件135输出Y图像和C图像。例如，YC转换处理部件135按照需要将Y图像和C图像输出给LCD驱动器108或CODEC 110。 

在步骤S108中，白平衡处理部件131判断是否存在后续帧。例如，当后续帧的马赛克图像被累积在DSP 106的内部存储器(未示出)中时，判定后续帧存在。 

在步骤S108，当判定后续帧存在时，处理返回步骤S101，并且将被处理的下一帧的马赛克图像被读取。另一方面，在步骤S108中，当判定不存在后续帧时，图像处理结束。 

[灰阶校正处理的流程] 

接下来，将参考图19和图20的流程图描述与图18的步骤S104的处理相对应的灰阶校正处理。 

在步骤S121，加权乘积之和部件177和色调曲线计算部件178读取中间数据。即，加权乘积之和部件177的插值部件291从块积分值存储器176读取用作中间数据的块积分值，并且加权乘积之和部件177的插值部件292从块直方图存储器174读取用作中间数据的块直方图。另外，色调 曲线计算部件178从亮度区域信息存储器172读取用作中间数据的亮度区域信息。 

在步骤S122中，亮度区域信息计算部件171从DSP 106的内部存储器(未示出)读取噪声水平noise Level(nl)和饱和水平saturation Level(nl)。 

在步骤S123，灰阶校正处理部件133从去马赛克处理部件132读取RGB图像中将被处理的像素的像素值。即，非线性转换部件154-1至154-3读取将被处理的像素的R分量的像素值Rw(p)、G分量的像素值Gw(p)和B分量的像素值Bw(p)，并且亮度计算部件151读取将被处理的像素的R、G和B分量的像素值。 

在步骤S124，亮度计算部件151基于所读取的像素值计算将被处理的像素的亮度值L(p)，并且将得到的值提供给非线性转换部件152。例如，亮度计算部件151将所读取的R、G和B分量的像素值乘以预定系数并求出线性和，以将得到的值设为亮度值或者将R、G和B分量的像素值中的最大值设为亮度值。 

在步骤S125，非线性转换部件152非线性地转换从亮度计算部件151提供来的亮度值L(p)，并且将通过转换获得的亮度值L(nl)(p)提供给亮度灰阶校正部件153和灰阶校正部件155。例如，非线性转换部件152利用具有根据小于1的指数的诸如乘法特性或对数特性之类的向上凸起单调增加特性的函数来非线性地转换亮度值L(p)。 

在步骤S126，亮度灰阶校正部件153和灰阶校正部件155从非线性转换部件152读取将被处理的像素的亮度值L(nl)(p)。 

在步骤S127，亮度灰阶校正部件153的亮度区域信息计算部件171执行用于计算亮度区域信息的像素处理。在用于计算亮度区域信息的像素处理中，到此为止提供来的亮度图像的像素的亮度值和从非线性转换部件152读取的亮度值L(nl)(p)被彼此相比较，并且排序(sorting)被执行。 

在步骤S128，块直方图计算部件173执行用于块直方图计算的像素处理。 

在步骤S129，块积分值计算部件175执行用于块积分值计算的像素处 理。 

在步骤S130，加权乘积之和部件177通过执行总体亮度值计算处理来计算将被处理的像素的总体亮度值Ll(nl)(p)，并且将总体亮度值提供给色调曲线计算部件178和映射部件180。 

在步骤S131，色调曲线计算部件178根据从亮度区域信息存储器172读取的亮度区域信息和从加权乘积之和部件177提供来的总体亮度值Ll(nl)(p)来求出色调曲线。 

在步骤S132，映射部件180基于记录在色调曲线存储器179中的色调曲线来校正从加权乘积之和部件177提供来的总体亮度值Ll(nl)(p)，并且将得到的值提供给对比度校正部件182。即，映射部件180利用记录在色调曲线存储器179中的控制点通过B样条(B-Spline)插值处理来求出色调曲线，并且通过利用所求出的色调曲线将总体亮度值Ll(nl)(p)转换为总体亮度值Lcl(nl)(p)，来校正总体亮度值Ll(nl)(p)的灰阶。 

在步骤S133，映射部件181基于记录在色调曲线存储器179中的色调曲线来校正将被处理的像素的所读取亮度值L(nl)(p)，并且将得到的值提供给对比度校正部件182。即，映射部件181利用记录在色调曲线存储器179中的控制点通过B样条插值处理来求出色调曲线，并且通过利用所求出的色调曲线将亮度值L(nl)(p)转换为亮度值Lc(nl)(p)，来校正亮度值L(nl)(p)的灰阶。 

在步骤S134，对比度校正部件182执行对比度校正处理，并且利用与原始图像的对比度相同的对比度来补偿具有通过色调曲线被执行了灰阶校正的且具有恶化的对比度的亮度值Lc(nl)(p)的亮度图像。对比度校正部件182将被执行了对比度校正的亮度值Lu(nl)(p)提供给灰阶校正部件155。 

在图20的步骤S141中，非线性转换部件154非线性地转换所读取的将被处理的像素的像素值，并且将得到的值提供给灰阶校正部件155。即，非线性转换部件154-1至154-3对RGB图像的像素值Rw(p)，Gw(p)和Bw(p)的每个执行与在步骤S141的处理中执行的非线性转换相同的非线性转换。 

在步骤S142，灰阶校正部件155-1至155-3利用从非线性转换部件 152提供来的亮度值L(nl)(p)和从亮度灰阶校正部件153提供来的亮度值Lu(nl)(p)来对从非线性转换部件154提供来的像素值执行灰阶校正。灰阶校正部件155将被执行了灰阶校正的像素值提供给非线性逆转换部件156。 

例如，灰阶校正部件155将每个颜色分量的像素值乘以亮度值L(nl)(p)与被执行了灰阶校正的亮度值Lu(nl)(p)之比。更具体地，例如，灰阶校正部件155-1通过计算如下的表达式(2)来求出被执行了灰阶校正的像素值Ru(nl)(p)。 

$\mathrm{Ru}\left(\mathrm{nl}\right)\left(p\right)=\left(\frac{R\left(\mathrm{nl}\right)\left(p\right)}{L\left(\mathrm{nl}\right)\left(p\right)}\right)\&CenterDot;\mathrm{Lu}\left(\mathrm{nl}\right)\left(p\right)...\left(2\right)$

在表达式(2)中，灰阶校正之前和之后的亮度值之比，即，通过将被执行了灰阶校正的亮度值Lu(nl)(p)除以灰阶校正之前的亮度值L(nl)(p)而获得的值，被乘以非线性转换后的像素值R(nl)(p)。类似地，在灰阶校正部件155-1至155-3中，与上述表达式(2)相同的计算被执行，并且对像素值执行灰阶校正。 

同时，当在非线性转换部件152和154中执行的非线性转换是对数转换时，可以通过执行由表达式(3)表示的计算来对像素值执行灰阶校正。 

Ru(nl)(p)＝(R(nl)(p)-L(nl)(p))+Lu(nl)(p)    ...(3) 

在表达式(3)中，被执行了灰阶校正的亮度值Lu(nl)(p)与灰阶校正之前的亮度值L(nl)(p)之间的差值被与像素值R(nl)(p)相加，并且成为被执行了灰阶校正的像素值Ru(nl)(p)。 

在步骤S143，非线性逆转换部件156-1至156-3对从灰阶校正部件155提供来的像素值执行非线性逆转换，该非线性逆转换是由非线性转换部件154执行的非线性转换的逆转换。在步骤S144，非线性逆转换部件156-1至156-3将通过非线性逆转换获得的像素值Ru(p)，Gu(p)和Bu(p)输出给伽马校正处理部件134。 

在步骤S145，灰阶校正处理部件133判断是否处理了将被处理的帧的RGB图像上的所有像素。在步骤S 145，当判定尚未处理所有像素时，即，所有像素并非都是被处理的像素时，处理返回步骤S123，并且上述处 理被重复。 

另一方面，在步骤S145，当判定所有像素已被处理时，在步骤S146，亮度区域信息计算部件171(图10)求出亮度区域信息。 

在步骤S147，块直方图计算部件173求出块直方图。即，块直方图计算部件173将计数器202-1至202-N的每个中所维护的值作为每个亮度块的块直方图提供给块直方图存储器174并且记录在其中。 

在步骤S148，块积分值计算部件175求出块积分值，灰阶校正处理结束，并且处理返回图18的步骤S104并前进到步骤S105。即，块积分值计算部件175将寄存器242-1至242-N的每个中记录的亮度值L(nl)(p)的总和作为块积分值提供给块积分值存储器176并记录在其中。 

如上面提到的，在灰阶校正处理中，基于一帧亮度图来求出中间数据。当中间数据被求出时，用作中间数据的亮度区域信息、块直方图和块积分值被存储在亮度区域信息存储器172、块直方图存储器174和块积分值存储器176中。在亮度灰阶校正部件153中，利用从在时间上紧邻当前被处理的帧之前的帧求出的中间数据，将被处理的像素的总体亮度值或色调曲线被计算出(边缘保留平滑被执行)。因此，即使当将被处理的图像是运动图像时，也能够利用小工作存储器来执行大运算量的边缘保留平滑，而不用扫描该图像的所有像素两次。 

[用于块直方图计算的像素处理的流程] 

接下来，将参考图21的流程图描述在图19的步骤S128中执行的用于块直方图计算的像素处理的流程的示例。 

当用于块直方图计算的像素处理开始时，在步骤S161，权重计算部件201读取将被处理的像素的亮度值L(nl)(p)，并且指定与其亮度值相对应的亮度块。在步骤S162，权重计算部件201根据所应用的加权函数来指定与该亮度值相对应的每个亮度块的权重。 

在步骤S163，与该亮度值相对应的亮度块的计数器将在步骤S162中计算出的权重与由其自己维护的值相加。 

当步骤S163的处理结束时，计数器202结束该用于块直方图计算的 像素处理，将处理返回到图19的步骤S128，并且执行步骤S129之后的处理。 

[用于块积分值计算的像素处理的流程] 

接下来，将参考图22的流程图描述在图19的步骤S129中执行的用于块积分值计算的像素处理的流程的示例。 

当用于块积分值计算的像素处理开始时，在步骤S181，权重相乘部件231读取将被处理的像素的亮度值L(nl)(p)，并且指定其亮度值所对应的亮度块。在步骤S182，权重相乘部件231读取从权重计算部件201提供来的与该亮度值相对应的亮度块的权重，并且将亮度值L(nl)(p)与该权重相乘。 

在步骤S183，与该亮度值相对应的亮度块的积分器232将在步骤S182中计算出的乘法结果与其自身维护的值相加。 

当步骤S183的处理结束时，积分器232结束该用于块积分值计算的像素处理，将处理返回到图19的步骤S129，并且执行步骤S130之后的处理。 

在图11的(C)部分的示例的情况中，用于块积分值计算的像素处理的流程如图23的流程图所示。 

在此情况中，当用于块积分值计算的像素处理开始时，加法部件251在步骤S201中从块直方图存储器174获取块直方图的值，并且在步骤S202中针对直方图的每个区间对区间的代表性值进行乘法运算，以将得到的值记录在块积分值存储器176中。 

当步骤S202的处理结束时，加法部件251结束该用于块直方图计算的像素处理，将处理返回到图19的处理S129，并且执行步骤S130之后的处理。 

如上面提到的，DSP 106可以通过执行各个处理来提高双边滤波器的计算精度，同时抑制负荷的增加。从而，能够提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。即，DSP 106可以在提高图像信号处理的画质性能的同时抑制负荷的增加。 

<2.第二实施例> 

[双边滤波器的概况] 

当使用在第一实施例中描述的方法时，比特长度由于小数精度的算术运算而增加。因此，可以通过一并使用抽取处理来固定比特长度。 

例如，在N比特小数精度的情况中，样本数通过抽取处理被抽取0.5N倍(下面，将该倍数的倒数称为抽取比率。随着被抽取样本的增加，抽取比率进一步增大。)。这将使得频度的最大值被减少N比特，从而抵消了小数精度中的N比特增量，并且因此最终的比特长度是固定的。 

在该处理中，还可以进行这样的分析，其中，通过从单个样本估计出样本点附近中的2N个像素的权重的总和来将权重值转换为整数。N比特的小数精度的某个权重值一次被计以2N，从而得到整数精度。 

[块直方图计算部件的配置] 

图24A是图示出该情况中的块直方图计算部件173的主要配置示例的框图。 

在图24A的示例的情况中，除了图11的示例的情况中的配置以外，块直方图计算部件173还包括低通滤波器301和抽取处理部件302。 

低通滤波器301平滑该输入的亮度值，以防止混叠。抽取处理部件302抽取经平滑的亮度值，并且求出代表性亮度值。权重计算部件201计算针对从抽取处理部件302输出的代表性亮度值的权重。 

[块积分值计算部件的配置] 

图24B是图示出该情况中的块积分值计算部件175的主要配置示例的框图。 

在图24B的示例的情况中，除了图11的示例的情况中的配置以外，块积分值计算部件175还包括低通滤波器301和抽取处理部件302。即，块积分值计算部件175与块直方图计算部件173共享低通滤波器301和抽取处理部件302。 

权重相乘部件231将从抽取处理部件302输出的代表性亮度值乘以从块直方图计算部件173提供来的权重，并且将乘法结果提供给与该代表性亮度值相对应的亮度块的积分器232。 

同时，即使在此情况中，如图11的(C)部分所示的加法部件251也可以被应用来取代块积分值计算部件175。 

另外，块积分值计算部件175可以包括与块直方图计算部件173的低通滤波器301和抽取处理部件302相分离的低通滤波器301和抽取处理部件302。 

[用于块直方图计算的像素处理] 

将参考图25的流程图描述此情况中的用于块直方图计算的像素处理的流程的示例。 

当用于块直方图计算的像素处理开始时，在步骤S301，低通滤波器301平滑该输入的亮度值，并且抽取处理部件302抽取经平滑的亮度值并且计算代表将被处理的区域的亮度值。 

在步骤S302，权重计算部件201根据所应用的加权函数来指定与该代表性亮度值相对应的每个亮度块的权重。 

在步骤S303，与该亮度值相对应的亮度块的计数器202将在步骤S302中计算出的权重与由其自身维护的值相加。 

当步骤S303的处理结束时，计数器202结束该用于块直方图计算的像素处理，将处理返回到图19的步骤S128，并且执行步骤S129以后的处理。 

[用于块积分值计算的像素处理的流程] 

接下来，将参考图26的流程图描述在图19的步骤S129中执行的用于块积分值计算的像素处理的流程的示例。 

当用于块积分值计算的像素处理开始时，在步骤S321，低通滤波器301平滑该输入的亮度值，并且抽取处理部件302抽取经平滑的亮度值并且计算代表将被处理的区域的亮度值。权重相乘部件231读取该亮度值。 

在步骤S322，权重相乘部件231读取从权重计算部件201提供来的与该亮度值相对应的亮度块的权重，并且将代表将被处理的区域的亮度值与该权重相乘。 

在步骤S323，与代表将被处理的区域的亮度值相对应的亮度块的积分器232将在步骤S322中计算出的乘法结果与其自身维护的值相加。 

当步骤S323的处理结束时，积分器232结束该用于块积分值计算的像素处理，将处理返回到图19的步骤S129，并且执行步骤S130之后的处理。 

如上所述，DSP 106可以通过执行各个处理来提高双边滤波器的计算精度，而不会增加比特长度。从而，能够更容易地提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。即，DSP 106可以在提高图像信号处理的画质性能的同时抑制负荷的增加。 

<3.第三实施例> 

[双边滤波器的概况] 

在如第二实施例中描述的抽取亮度值的方法中，随着采样的抽取比率变得越大，存在对于精细空间模式，边缘保留性能进一步降低的趋势。因此，为了不会不必要地降低边缘保留性能，如图27所示的表，抽取比率和小数精度可以根据输入图像进行设置。 

例如，可以在滤波器的处理之前对图像进行分析，并且如图27所示的表，小数精度和抽取比率可以根据包括在该图像中的空间模式(主要频率分量)来确定。 

在图27的示例中，图像的空间模式被分类为三阶段。当图像中存在许多精细空间模式时(当存在许多高频分量时)，小数精度和抽取比率被设为小的值(抽取比率被设为1，并且小数精度被设为0比特)。另外，当有中等数目个精细空间模式包括在图像中时(当存在许多中频分量时)，小数精度和抽取比率被设为中间值(抽取比率被设为1/4，并且小数精度被设为2比特)。此外，当图像中存在较少的精细空间模式时(当存在许多低频分量时)，小数精度和抽取比率被设为大的值(抽取比率被 设为1/16，并且小数精度被设为4比特)。 

[亮度灰阶校正部件的配置示例] 

图28是图示出此情况中的亮度灰阶校正部件153的主要配置示例的框图。图28对应于图10。在图28的示例的情况中，亮度灰阶校正部件153除了包括图10的示例的情况中的配置以外，还包括空间模式分析部件401。 

空间模式分析部件401确定空间模式的精细度。虽然确定方法是任意的，然而例如空间模式分析部件401通过求出图像的每个频带中的能量来确定空间模式的精细度。例如，空间模式分析部件401包括如图27所示的表那样的确定基准(确定逻辑)，分析从非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)，根据该基准来执行对分析结果的确定，当能量偏向于高频分量时确定为精细模式，并且当能量偏向于低频分量时相反地确定为粗略模式。 

空间模式分析部件401将确定结果提供给块直方图计算部件173和块积分值计算部件175。 

[空间模式分析部件的配置示例] 

图29是图示出空间模式分析部件401的主要配置示例的框图。如图29所示，空间模式分析部件401包括低通滤波器421、低通滤波器422、算术运算部件423、算术运算部件424、能量计算部件425、能量计算部件426、调谐参数提供部件427和确定处理部件428。 

低通滤波器421和低通滤波器422分别对从非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)执行低通滤波，并且让较低频分量通过。 

低通滤波器421和低通滤波器422具有不同的通频带。低通滤波器422具有比低通滤波器421的通频带宽的通频带，并且还可以使较高频分量通过。 

下面，为了简化描述，频率分量被划分为三段，即，高频分量、中频 分量和低频分量，而低通滤波器422让中频分量和低频分量通过，并且低通滤波器421仅让低频分量通过。 

算术运算部件423从自非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)中减去低通滤波器421的输出LP0，并且生成差值(高通信号)HP0。由于低通滤波器421的输出LP0仅包括低频分量，因此高通信号HP0包括高频分量和中频分量。算术运算部件423将高通信号HP0提供给能量计算部件425。 

算术运算部件424从自非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)中减去低通滤波器422的输出LP1，并且生成差值(高通信号)HP1。由于低通滤波器422的输出LP1包括低频分量和中频分量，因此高通信号HP1仅包括高频分量。算术运算部件424将高通信号HP1提供给能量计算部件426。 

能量计算部件425通过在将被确定的区域内对提供来的高通信号HP0执行平方积分来计算高通信号HP0的能量。能量计算部件425将计算出的能量E0提供给确定处理部件428。 

能量计算部件426通过在将被确定的区域内对提供来的高通信号HP1执行平方积分来计算高通信号HP1的能量。能量计算部件426将计算出的能量E1提供给确定处理部件428。 

例如，如图30所示，从非线性转换部件152提供来的将被处理的像素的亮度值L(nl)(p)的频率特性(输入时的频率特性)包括如直线431所示的从低频分量到高频分量的范围。 

具有如曲线432所示的频率特性的高通信号HP0是通过低通滤波器421和算术运算部件423的处理从输入信号获得的。类似地，具有如曲线433所示的频率特性的高通信号HP1是通过低通滤波器422和算术运算部件424的处理从输入信号获得的。 

能量计算部件425计算与曲线432下面的部分(斜线所示的部分)的面积相当的能量(信号强度E0)。能量计算部件426计算与曲线433下面的部分(斜线所示的部分)的面积相当的能量(信号强度E1)。 

确定处理部件428根据能量的频率分布趋势来确定空间模式。例如， 如图30所示，当信号强度E1较高时，确定处理部件428确定存在许多高频分量，并且确定许多精细空间模式被包括在该图像中。另外，当信号强度E1较低并且信号强度E0较高时，确定处理部件428确定存在许多中频分量，并且确定许多中等空间模式被包括在该图像中。此外，当信号强度E0和信号强度E1都较低时，确定处理部件428确定存在许多低频分量，并且确定许多粗略空间模式被包括在该图像中。 

调谐参数提供部件427预先维护作为调谐参数的阈值Th0和阈值Th1，用作判断信号强度是高还是低的基准，并且适当地将这些阈值提供给确定处理部件428。阈值Th0和阈值Th1可以预先被确定，并且可以适当地被更新。 

当利用从调谐参数提供部件427提供来的阈值Th0和阈值Th1来确定了图像中包括的空间模式时，确定处理部件428将确定结果提供给块直方图计算部件173和块积分值计算部件175。 

[块直方图计算部件的配置示例] 

图31是图示出此情况中的块直方图计算部件173的主要配置示例的框图。 

如图31所示，在此情况中，块直方图计算部件173在权重计算部件201的前面还包括低通滤波器441、抽取处理部件442、低通滤波器443、抽取处理部件444和选择器445。 

类似于第二实施例中描述的(图24A的)低通滤波器301和抽取处理部件302，低通滤波器441和抽取处理部件442，以及低通滤波器443和抽取处理部件444分别减少样本数，以便吸收因小数精度的算术运算引起的比特长度增量(以使得比特长度不增加)。 

即，低通滤波器441和低通滤波器443分别对应于低通滤波器301，并且执行与低通滤波器301相同的处理。抽取处理部件442和抽取处理部件444分别对应于抽取处理部件302，并且执行与抽取处理部件302相同的处理。 

然而，在低通滤波器443和抽取处理部件444的途径中比在低通滤波 器441和抽取处理部件442的途径中更多地执行抽取。即，抽取比率较高。 

更具体地，低通滤波器443具有比低通滤波器441窄的通频带，并且抽取处理部件444具有比抽取处理部件442高的抽取比率。 

除了这些途径之外，未执行抽取的途径也被提供给选择器445。即，未执行抽取的途径、以低比率执行抽取的途径和以高比率执行抽取的途径这三条途径被提供给选择器445。 

选择器445基于从空间模式分析部件401提供来的空间模式确定结果来选择提供来的三条途径中的一条途径，并且将该途径的亮度值提供给权重计算部件201。类似于图24A的情况，权重计算部件201执行所提供来的亮度值的权重的计算等。然而，在此情况中，如图27的表所示，权重计算部件201根据所提供来的亮度值的抽取比率来计算具有小数精度的权重。 

即，虽然亮度值在用于以不同抽取比率抽取亮度值的多条途径(可以包括具有抽取比率1的途径(其中抽取不被执行))中被提供给选择器445，然而途径的数目以及每条途径的抽取比率与空间模式分析部件401的空间模式的分类数目(如图27的表所示)相对应地被设置。 

因此，例如，当空间模式分析部件401将空间模式分为四阶段以上时，块直方图计算部件173也具有其抽取比率彼此不同的四条以上的途径。 

[块积分值计算部件的配置示例] 

图32是图示出此情况中的块积分值计算部件175的主要配置示例的框图。 

如图32所示，在此情况中，块积分值计算部件175在权重相乘部件231前面包括低通滤波器441、抽取处理部件442、低通滤波器443、抽取处理部件444和选择器445。即，块积分值计算部件175与块直方图计算部件173共享低通滤波器441、抽取处理部件442、低通滤波器443、抽取处理部件444和选择器445。 

权重相乘部件231将由选择器405基于从空间模式分析部件401提供 的空间模式确定结果选择的途径的亮度值与权重计算部件201中计算出的权重相乘。 

即，与块直方图计算部件173的情况类似地，块积分值计算部件175的途径数目和每条途径的抽取比率(以及加权函数的小数精度)也是与如图27的表所示的、空间模式分析部件401的空间模式的分类数目相对应地来设置的。 

同时，块积分值计算部件175可以包括与块直方图计算部件173中包括的配置相分离的低通滤波器441、抽取处理部件442、低通滤波器443、抽取处理部件444和选择器445。 

以这种方式，亮度灰阶校正部件153可以根据输入图像的内容(空间模式)来设置抽取比率和小数精度。因此，亮度灰阶校正部件153可以在小数方向上更适当地调节区间计数精度的扩展量，并且可以抑制边缘保留性能的不必要的降低。 

即，DSP 106可以在提高双边滤波器的计算精度的同时抑制负荷的增加。从而，能够提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。 

[灰阶校正处理的流程] 

将参考图33和图34的流程图描述此情况中的灰阶校正处理的流程的示例。这些流程图对应于图19和图20的流程图。 

当灰阶校正处理开始时，图33的步骤S401至步骤S407的每个处理与图19的步骤S121至步骤S127的每个处理类似地被执行。 

在图33的步骤S408中，空间模式分析部件401分析输入图像的空间模式。 

图33的步骤S409至步骤S415的每个处理与图19的步骤S128至步骤S134的每个处理类似地被执行。 

另外，图34的步骤S421至步骤S428的每个处理与图20的步骤S141至步骤S148的每个处理类似地被执行。 

[空间模式分析处理的流程] 

接下来，将参考图35的流程图描述在图33的步骤S408中执行的空间模式分析处理的流程的示例。 

当空间模式分析处理开始时，在步骤S441，低通滤波器421执行抽头数较大的低通滤波。在步骤S442，算术运算部件423计算输入与步骤S441的滤波结果(LP0)之差。在步骤S443，能量计算部件425计算在步骤S442中计算出的差值(HP0)的能量(信号强度E0)。 

在步骤S444，低通滤波器422执行抽头数较小的低通滤波。在步骤S445，算术运算部件424计算输入与步骤S444的滤波结果(LP1)之差。在步骤S446，能量计算部件426计算在步骤S445中计算出的差值(HP1)的能量(信号强度E1)。 

在步骤S447，确定处理部件428获取从调谐参数提供部件427提供来的用于每个低通滤波器的阈值(阈值Th0和阈值Th1)。在步骤S448，确定处理部件428利用在步骤S447获得的阈值根据在步骤S443和步骤S445中计算出的能量来确定输入图像的空间模式。 

当步骤S448的处理结束时，确定处理部件428结束该空间模式确定处理，将处理返回到图33的步骤S408，并且执行步骤S409以后的处理。 

[空间模式确定处理的流程] 

将参考图36的流程图描述在图35的步骤S448中执行的空间模式确定处理的流程的示例。 

当空间模式确定处理开始时，在步骤S461，确定处理部件428判断信号强度E1是否大于阈值Th1。当判定信号强度E1大于阈值Th1时，确定处理部件428使处理前进到步骤S462，并且确定空间模式为“精细”。 

另外，在步骤S461中，当判定信号强度E1不大于阈值Th1时，确定处理部件428使处理前进到步骤S463，并且判断信号强度E0是否大于阈值Th0。当判定信号强度E0大于阈值Th0时，确定处理部件428使处理前进到步骤S464，并且确定空间模式为“中等”。 

此外，在步骤S463中，当判定信号强度E0不大于阈值Th0时，确定 处理部件428使处理前进到步骤S465，并且确定空间模式为“粗略”。 

当步骤S462、步骤S464或步骤S465的处理结束时，确定处理部件428结束该空间模式确定处理，将处理返回到图35的步骤S448，结束空间模式分析处理，将处理返回到图33的步骤S408，并且执行步骤S409之后的处理。 

[用于块直方图计算的像素处理的流程] 

接下来，将参考图37的流程图描述在图33的步骤S409中执行的用于块直方图计算的像素处理的流程的示例。 

当用于块直方图计算的像素处理开始时，在步骤S481，选择器445基于空间模式确定处理的空间模式确定结果来确定与该确定结果相对应的抽取比率或小数精度。 

在步骤S482，低通滤波器441至选择器445利用通过步骤S481的处理确定的抽取比率来计算与空间模式确定处理的空间模式确定结果相对应的代表将被处理的区域的亮度值。例如，如上所述，与空间模式确定结果的每种选择相对应的亮度值被计算出，并且从它们之中来选择与空间模式确定结果相对应的亮度值。 

在步骤S483，权重计算部件201利用在步骤S481中确定的小数精度的设置，来指定与代表将被处理的区域的亮度值相对应的亮度块(区间)的权重。 

在步骤S484，与代表将被处理的区域的亮度值相对应的亮度块的计数器202将在步骤S483中指定的权重与由其自身存储的权重相加，并且存储相加结果。 

当步骤S484的处理结束时，计数器202结束该用于块直方图计算的像素处理，将处理返回到图33的步骤S409，并且执行步骤S410之后的处理。 

[用于块积分值计算的像素处理的流程] 

接下来，将参考图38的流程图描述在图33的步骤S410中执行的用 于块积分值计算的像素处理的流程的示例。 

当用于块积分值计算的像素处理开始时，在步骤S501，权重相乘部件231读取由低通滤波器441至选择器445生成的与空间模式确定处理的空间模式确定结果相对应的、代表将被处理的区域的亮度值。 

在步骤S502，权重相乘部件231读取由权重计算部件201计算出的、与在步骤S501中读取的亮度值相对应的亮度块的权重，并且将在步骤S501中读取的亮度值与该权重相乘。

在步骤S503，与在步骤S501中读取的亮度值相对应的亮度块的积分器232将在权重相乘部件231中计算出的乘法结果与其自身存储的乘法结果相加，并且存储加法结果。 

当步骤S503的处理结束时，积分器232结束该用于块积分值计算的像素处理，将处理返回到图33的步骤S410，并且执行步骤S411之后的处理。 

通过如上所述的每个处理，亮度灰阶校正部件153可以在小数方向上更适当地调节区间计数精度的扩展量，并且可以抑制边缘保留性能的不必要的降低。即，DSP 106可以在提高双边滤波器的计算精度的同时抑制负荷的增加。从而，能够提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。 

<4.第四实施例> 

[双边滤波器的概况] 

在第三实施例中，采样的抽取比率和小数精度被描述为相对于整个输入图像均匀地被设置。然而，当输入图像整体中的空间模式的精细度存在较大变化时，认为不能对全体图像执行最优设置。因此，可以针对图像的每个区域来改变采样的抽取比率和小数精度。 

例如，如图39A所示，考虑这样的情况，其中，具有“精细”空间模式的部分601、具有“中等”空间模式的部分602和具有“粗略”空间模式的部分603被包括在一个图像600中。 

如图39B所示，对于这样的图像，求出具有预定大小的每个区域的直 方图(局部直方图)，并且根据内部模式的精细度来针对每个局部直方图设置抽取比率和小数精度。 

在图39B的示例中，一个虚线方块指示用于计算一个局部直方图的该图像的区域。局部直方图的计算精度的设定是通过在局部直方图的计算区域中执行如第三实施例中描述的空间模式确定而确定的。 

用作用于计算局部直方图的单位的区域的大小可以是任意的，可以预先被设置，并且可以根据该图像来设置。另外，可以使每个区域的形状或大小彼此不同。可以使一些区域的形状或大小与其它区域的形状或大小不同。 

接下来，将描述每个处理部件的配置。 

在此情况中，亮度灰阶校正部件153按照与第三实施例(图28)中描述的情况相同的方式来配置。另外，空间模式分析部件401的内部也按照与第三实施例(图29)中描述的情况相同的方式来配置。 

然而，在此情况中，空间模式分析部件401对每个预定区域(在图39B的示例的情况中，由虚线界定的区域)执行分析，并且确定空间模式(称为局部空间模式)。 

[块直方图计算部件的配置] 

图40是图示出此情况中的直方图计算部件173的主要配置示例的框图。在此情况中，直方图计算部件173包括与第三实施例(图31的示例)中描述的情况基本相同的配置，但是还包括局部直方图指定部件611和精度设置部件612。 

局部直方图指定部件611根据从空间模式分析部件401提供来的局部空间模式确定结果以及坐标信号p来指定当前被计算的局部直方图。精度设置部件612设置选择器445和权重计算部件201中的与局部直方图指定部件611指定的局部直方图相对应的抽取比率和小数精度(以及根据该小数精度的加权函数)。 

选择器445选择由精度设置部件612设置的抽取比率的途径，并且将该途径的亮度值提供给权重计算部件201。权重计算部件201根据在精度 设置部件612中设置的小数精度(以及根据该小数精度的加权函数)来计算权重。 

[块积分值计算部件的配置] 

图41是图示出此情况中的块积分值计算部件175的主要配置示例的框图。在此情况中，类似于第三实施例(图32的示例)中描述的情况，块积分值计算部件175与块直方图计算部件173共享低通滤波器441至选择器445。 

在此情况中，块积分值计算部件175还共享局部直方图指定部件611和精度设置部件612。 

即，权重相乘部件231将以一抽取比率被执行了抽取的亮度值与权重计算部件201中计算出的权重相乘，该抽取比率与从空间模式分析部件401提供来的局部空间模式确定结果相对应。 

以这种方式，由于采样的抽取比率或小数精度是根据针对每个区域确定的空间模式来设置的，因此亮度灰阶校正部件153可以在小数方向上将区间计数精度的扩展量设置为根据图像的内容的值，并且还可以抑制边缘保留性能的不必要降低。 

即，DSP 106可以在提高双边滤波器的计算精度的同时抑制负荷的增加。从而，能够提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。 

接下来，将描述由各个部件执行的处理的流程的示例。如上面提到的，亮度灰阶校正部件153包括与第三实施例的情况相同的空间模式分析部件401，并且执行与第三实施例的情况相同的处理。因此，即使在此情况中，亮度灰阶校正部件153也按照与参考图33和图34的流程图描述的第三实施例的情况相同的方式来执行灰阶校正处理。 

另外，空间模式分析部件401具有与第三实施例(图29)的情况相同的配置，并且除了执行针对每个部分区域的空间模式的分析以外，执行与第三实施例的情况相同的处理。即，空间模式分析部件401按照与参考图35的流程图描述的第三实施例的情况相同的方式来执行空间模式分析处 理。 

[用于块直方图计算的像素处理的流程] 

接下来，将参考图42的流程图描述在图33的步骤S409中执行的用于块直方图计算的像素处理的流程的示例。 

当用于块直方图计算的像素处理开始时，在步骤S601，局部直方图指定部件611和精度设置部件612针对被执行了空间模式确定处理的每个区域，基于针对每个区域计算的局部空间模式确定结果，来确定与该确定结果相对应的抽取比率或小数精度。 

在步骤S602，低通滤波器441至选择器445利用通过步骤S601的处理确定的抽取比率来计算与局部空间模式确定结果相对应的代表将被处理的区域的亮度值。例如，如上所述，与局部空间模式确定结果的每种选择相对应的亮度值被计算出，并且从它们之中来选择与实际的局部空间模式确定结果相对应的亮度值。 

在步骤S603，权重计算部件201利用在步骤S601中确定的小数精度的设置，来指定与代表将被处理的区域的亮度值相对应的亮度块(区间)的权重。 

在步骤S604，与代表将被处理的区域的亮度值相对应的亮度块的计数器202将在步骤S603中指定的权重与由其自身存储的权重相加，并且存储相加结果。 

当步骤S604的处理结束时，计数器202结束该用于块直方图计算的像素处理，将处理返回到图33的步骤S409，并且执行步骤S410之后的处理。 

同时，块积分值计算部件175可以按照与相对于图38的流程图描述的第三实施例的情况相同的方式来执行用于块积分值计算的像素处理。 

通过以这种方式执行每个处理，由于采样的抽取比率或小数精度是根据针对每个区域确定的空间模式来设置的，因此亮度灰阶校正部件153可以在小数方向上将区间计数精度的扩展量设置为根据图像的内容的值，并且还可以抑制边缘保留性能的不必要降低。 

即，DSP 106可以在提高双边滤波器的计算精度的同时抑制负荷的增加。从而，能够提高诸如降噪处理(NR处理)或灰阶校正处理之类的图像信号处理的画质性能。 

同时，即使在上述第二实施例至第四实施例中，如图11的(C)部分所示的加法部件251也可用来取代块积分值计算部件175。 

<5.第五实施例> 

[个人计算机] 

上面描述的一系列处理不仅可通过硬件执行，而且还可通过软件执行。在此情况中，例如，如图43所示的个人计算机可被配置。 

在图43中，个人计算机700的CPU(中央处理单元)701根据存储在ROM(只读存储器)702中的程序或者从存储部件713载入RAM(随机存取存储器)703的程序来执行各种类型的处理。CPU 701执行各种类型的处理所需的数据等也适当地存储在RAM 703中。 

CPU 701、ROM 702和RAM 703通过总线704互连。输入和输出接口710也被连接到总线704。 

诸如键盘和鼠标之类的输入部件711、诸如显示器(例如CRT(阴极射线管)或LCD(液晶显示器))和扬声器之类的输出部件712、诸如硬盘之类的存储部件713和诸如调制解调器之类的通信部件714被连接到输入和输出接口710。通信部件714通过包括因特网在内的网络来执行通信处理。 

另外，驱动器715按照需要被连接到输入和输出接口710，诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质721适当地被装载到其上，并且从其读出的计算机程序按照需要被安装在存储部件713中。 

当通过软件来执行上述一系列处理时，构成软件的程序从网络或记录介质被安装。

例如，如图43所示，与设备体相分离的记录介质不仅由可移除介质721构成，而且还由包括在ROM 702或存储部件713中的硬盘等构成，可移除介质721是在其上记录有程序的磁盘(包括软盘)、光盘(包括CD- ROM(致密盘-只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器，其被分发以将程序递送给用户，所述硬盘等在其上记录有程序并且在将其预先结合到设备体内的状态中被递送给用户。 

同时，由该计算机执行的程序可以是沿着说明书中描述的过程按时间顺序执行处理的程序，并且可以是并行地或者在执行调用时的必要定时处执行处理的程序。 

另外，在本说明书中，记录在记录介质中的程序被描述的步骤不仅包括沿着所描述过程按时间顺序执行的处理，还包括甚至在不必按时间顺序处理时并行地或单独地被执行的处理。 

另外，在本说明书中，系统指示由多个设备构成的整体装置。 

另外，如上所述，被描述为一个设备(或处理部件)的配置被划分，并且可被配置为多个设备(或处理部件)。反之，在上面被描述为多个设备(或处理部件)的配置可以总体地被配置为一个设备(或处理部件)。另外，上述配置以外的配置当然可被添加到每个设备(或每个处理部件)的配置中。此外，当作为整体系统来说配置或操作基本上相同时，某个设备(或处理部件)的配置的一部分可被包括在另一设备(或另一处理部件)的配置中。即，本公开的实施例不限于上述实施例，而是可以在不脱离本公开的范围的情况下做出各种改变或修改。 

本公开包含与2010年9月6日向日本专利局提交的日本优先专利申请JP 2010-199224中公开的主题有关的主题，该申请的全部内容通过引用被结合于此。 

本领域技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。 

Claims (9)

1.一种图像处理装置，包括：

频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值；

特性值计算部件，其计算表示部分区域的特性的特性值；以及

加权乘积之和部件，其通过利用由所述频度值计算部件计算出的频度值和由所述特性值计算部件计算出的所述特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。

2.根据权利要求1所述的图像处理装置，

其中，所述频度值计算部件包括

权重计算部件，其计算权重，所述权重用于以小数精度来扩展在分配所述输入图像的像素时的计数值，以及

频度值更新部件，其利用由所述权重计算部件计算出的所述权重来更新多个部分区域的频度值，并且

其中，所述特性值计算部件包括

权重相乘部件，其将所述输入图像的亮度值与由所述权重计算部件计算出的所述权重相乘，以及

特性值更新部件，其利用被所述权重相乘部件乘以了所述权重的所述输入图像的亮度值来更新多个部分区域的特性值。

3.根据权利要求2所述的图像处理装置，其中，所述权重计算部件根据预定加权函数来计算各个部分区域的权重。

4.根据权利要求2所述的图像处理装置，

其中，所述频度值计算部件还包括对所述输入图像的像素进行抽取的抽取部件，并且

其中，所述权重计算部件相对于经所述抽取部件抽取的所述输入图像的像素来计算各个部分区域的权重。

5.根据权利要求4所述的图像处理装置，其中，所述抽取部件以与所述权重计算部件计算出的权重的小数精度相对应的抽取比率来抽取所述输入图像的像素。

6.根据权利要求4所述的图像处理装置，还包括空间模式确定部件，该空间模式确定部件确定表示所述输入图像的内容的空间模式，

其中，所述抽取部件以与通过所述空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取所述输入图像的像素。

7.根据权利要求6所述的图像处理装置，

其中，所述空间模式确定部件确定所述输入图像的每个部分区域的空间模式，并且

其中，所述抽取部件针对每个部分区域，以与通过所述空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取所述输入图像的像素。

8.一种图像处理装置的图像处理方法，包括：

将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值；

计算表示部分区域的特性的特性值；以及

通过利用计算出的频度值和计算出的特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。

9.一种使得计算机执行图像处理方法的程序，该方法包括：

将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值；

计算表示部分区域的特性的特性值；以及

通过利用计算出的频度值和计算出的特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。

Images