CN102821230A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提出了一种图像处理装置和图像处理方法。该图像处理装置包括：无限冲激响应(IIR)均值计算部，用于根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的均值；IIR方差计算部，用于根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的信号值的方差；边缘保持平滑处理部，用于接收所述参考信号的均值和方差，并执行边缘保持平滑处理，其中应用了所述均值和方差；以及IIR滤波器系数计算部，用于根据构成图像的像素的信号值来更新被应用到所述IIR均值计算部和IIR方差计算部的IIR滤波器系数。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置、图像处理方法和程序。更具体地，本发明涉及消除包括在图像中的噪声的图像处理装置、图像处理方法和程序。

背景技术

对于从图像中消除噪声的技术，对该图像进行滤波的装置是众所周知的。例如，与在中频滤波器或维纳(Wiener)滤波器中一样的包括传统图像处理的各种技术已经被提出。

近来，广泛使用的技术为双边滤波或非局部(NL)平均滤波。

例如，双边滤波公开在1998年IEEE国际会议计算机视觉分册上由C.Tomasi和R.Manduchi发表的“Bilateral Filtering for Gray and ColorImages”文章中(C.Tomasi and R.Manduchi’s“Bilateral Filtering for Grayand Color Images，”Proceedings of the IEEE International Conference onComputer Vision，1998)。

例如，NL平均滤波公开在2005年IEEE国际会议计算机视觉和模式识别分册上由A.Buandes、B.Coll和J.M.Morel发表的“A Non-LocalAlgorithm for Image Denoising”文章中(A.Buades，B.Coll，and J.M.Morel’s“A Non-Local Algorithm for Image Denoising，”Proceedings of theIEEE International Conference on Computer Vision and Pattern Recognition，2005)。

滤波应用处理是校正关键像素(a pixel of interest)的像素值的处理，其中，例如，将作为降噪对象的关键像素周围的外围像素指定为参考像素并且使用用任何技术的多个参考像素的像素值的算术平均值。

在相关现有技术中，外围像素通常从中心在关键像素位置的矩形区域中选择。如果使用各向同性区域的信号来执行滤波操作，那么在被处理图像中不容易发生相移，并且可以获得理想的视觉图像。

另一方面，通用相机信号处理部，即用于处理成像元件的输出信号的相机信号处理部，具有存储原先从成像元件读取的行单元的像素值的被称为延迟线的一类存储器，并且通常在参考包括存储器存储的数据的预定局部区域的像素数据的同时执行诸如像素值校正之类的各种信号处理操作。

建议了这样一种配置，与具有在许多相机中使用的延迟线的上述双边滤波器类似的、用于执行“边缘保持平滑处理”的装置作为降噪装置被安装在其中。

在原理上，“边缘保持平滑处理”是一种低通滤波(LPF)应用处理。平滑的强度可以由LPF的截止频率控制。

尽管平滑的强度可以通过降低截止频率来增强，然而，对于截止频率较低的滤波器的实现，也应该参考远离关键像素的位置的像素值。为了在相机信号处理中参考远处像素，从关键像素中分离的像素的值需要被保留，因此，需要具有更多延迟线的存储器。

即，存在执行高性能的降噪处理必然增加硬件消耗的问题。

为了解决当参考大片区域时硬件消耗增加的问题，使用无限冲击响应(IIR)滤波器的各种方法被提出，例如，在日本专利特许公开号2001-36769、2005-184768、2005-286678和2010-81497中。

在IIR滤波器中，滤波操作作为这样一个处理来执行，其中仅参考对于时间顺序上输入的信号的当前信号和先前信号。

在根据本发明的实施例的处理中，使用主要IIR滤波器来进行描述。当IIR滤波器被用于图像处理中时，使用相对于关键像素的各向异性区域的像素进行处理。

因而，存在相位容易偏移以及在特定方向上图像的边缘模糊不清的问题。作为抑制相位偏移的方法，降低平滑强度的方法是有效的。这在现有技术中的任何方法中被使用。

然而，在现有技术中存在对平滑强度的控制不足的问题。在原理上，基于IIR滤波器的边缘保持平滑处理使用IIR滤波器计算信号的低频成分，并且根据原始信号的边缘强度来混合原始信号。

当在信号中存在清晰的边缘时通过进一步混合原始信号来保持边缘。

另一方面，当不存在清晰边缘时，通过尽可能少地混合原始信号，仅获取信号的低频成分并且执行平滑。

通过执行上述的处理可以有选择地抑制信号的平坦部分中的小振幅(＝噪声)。

更具体地，将参考以下表达式(1)来描述基于IIR滤波器的边缘保持平滑处理。

p_IIR(t)＝α(t)p(t)+(1-α(t))p_IIR(t-1)

                                        ...(1)

在上述表达式(1)中，t表示时间，p(t)表示信号值(＝在校正(降噪)对象的关键像素的校正之前的像素值)，且p_IIR(t)表示使用IIR滤波器的边缘保持平滑信号(＝在关键像素校正之后的像素值)。

α(t)为[0，1]范围内的变量，即，α＝0至1，并且可以被自适应改变以便边缘的强度越大，值越大。

优选地，变量α(t)随着边缘强度的变化而连续变化。这是因为在边缘检测中的不连续的变化会导致平滑强度的极端改变并且在视觉上是不希望的。

在现有技术中，因为确定变量α(t)的方法是特设的，所以存在不能获取足够的性能或者在边缘检测中的不连续的变化导致图像质量劣化的问题。

在上述日本专利申请特许公开号2001-36769和2005-184786中，存在由于在边缘检测中边缘的存在/缺失被分类为两个值使得处理的转换变得明显的问题。

另外，尽管使用与上述表达式(1)对应的方法的边缘保持平滑处理在日本专利申请特许公开号2005-286678和2010-81497中被执行，还是存在由于在确定变量α(t)时使用了任意确定的虚线，导致边缘没有被充分保持的问题。

发明内容

因此，期望提供图像处理装置、图像处理方法和程序，它们可以消除包含在图像中的噪声。

同样地，期望提供图像处理装置、图像处理方法和程序，通过实施基于IIR滤波器的边缘保持平滑处理，用小规模电路执行，它们也能确保针对大量像素的有效降噪。

与本发明的第一实施例一致，提供了一种图像处理装置，其包括：

IIR均值计算部，其用于根据IIR滤波器应用处理来计算校正对象像素周围的参考像素的信号值的平均值；

IIR方差计算部，其用于根据IIR滤波器应用处理来计算在校正对象像素周围的参考像素的信号值的方差；

边缘保持平滑处理部，其用于接收参考像素的均值和方差，并且对所述均值和方差被应用到的边缘保持平滑处理进行处理；和

IIR滤波器系数计算部，其用于根据构成图像的像素的信号值来更新将被应用到IIR均值计算部和IIR方差值计算部的IIR滤波器系数。

进一步，在与本发明的第一实施例一致的图像处理装置中，边缘保持平滑处理部执行基于维纳滤波器应用处理的边缘保持平滑处理。

进一步，在与本发明的第一实施例一致的图像处理装置中，边缘保持平滑处理部根据由IIR方差值计算部计算的方差，通过执行将由IIR均值计算部生成的均值和校正对象像素的信号值进行混合的处理来计算校正对象像素的校正之后的信号值。

进一步，在与本发明的第一实施例一致的图像处理装置中，边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为(v1-v2)/v2的混合处理。

进一步，在与本发明的第一实施例一致的图像处理装置中，边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为v1/(v1+v2)的混合处理。

进一步，在与本发明的第一实施例一致的图像处理装置中，IIR滤波器系数计算部根据输入信号值继续计算新的IIR滤波器系数。

进一步，在与本发明的第一实施例一致的图像处理装置中，IIR滤波器系数计算部根据由IIR方差计算部计算的方差继续计算新的IIR滤波器系数。

进一步，在与本发明的第一实施例一致的图像处理装置中，IIR系数计算部基于校正对象像素的信号值与由IIR均值计算部计算的均值之间的差来计算新的IIR滤波器系数。

进一步，在与本发明的第一实施例一致的图像处理装置中，IIR滤波器系数计算部基于校正对象像素的信号值与前一输入像素的信号值之间的差来计算新的IIR滤波器系数。

进一步，在与本发明的第一实施例一致的图像处理装置中，二维图像信号作为处理对象图像被输入，并且边缘保持平滑处理被应用在水平方向和垂直方向中的至少一个。

进一步，在与本发明的第一实施例一致的图像处理装置中，二维图像信号作为处理对象图像被输入，边缘保持平滑处理被应用在水平方向和垂直方向中的至少一个，并且在其他方向各向同性边缘保持平滑处理被实施。

进一步，在与本发明的第一实施例一致的图像处理装置中，亮度信号图像和彩色信号图像分别作为处理对象图像被输入，并且对于每一个图像改变了边缘保持平滑的强度的处理被执行。

进一步，与本发明的第二实施例一致，提出了一种在图像处理装置中实施的图像处理方法，其包括：

由IIR均值计算部根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的平均值；

由IIR方差计算部根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的所述信号值的方差；

由边缘保持平滑处理部接收所述参考像素的均值和方差，和对所述均值和方差被应用到的边缘保持平滑处理进行处理；和

由IIR滤波器系数计算部根据构成图像的像素的信号值来更新将被应用到IIR均值计算步骤和IIR方差计算步骤的IIR滤波器系数。

进一步，与本发明的第三实施例一致，提出了一种使得图像处理装置执行以下图像处理的程序，所述处理包括：

由IIR均值计算部根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的平均值；

由IIR方差计算部根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的所述信号值的方差；

由边缘保持平滑处理部接收所述参考像素的均值和方差，和对所述均值和方差被应用到的边缘保持平滑处理进行处理；和

由IIR滤波器系数计算部根据构成图像的像素的信号值来更新将被应用到IIR均值计算步骤和IIR方差计算步骤的IIR滤波器系数。

本发明的程序是可以由存储介质的装置提供给信息处理装置或诸如可以执行各种程序代码的计算机系统的程序。该程序可以由在所述信息处理装置或计算机系统上的程序执行部来执行，以便与所述程序对应的处理可以被执行。

进一步，本发明的目的、特征和优点将通过参考具有附图的实施例的详细描述变得清楚。在该说明书中，该系统为包括多个装置的逻辑组合配置。这些装置没必要在相同的外壳中。

与上述本发明的实施例一致，用于降低图像噪声的装置和方法被实现。

具体地，例如，在校正对象像素周围的参考像素的信号值的均值和方差根据IIR滤波器应用处理被计算。通过接收计算后的均值和方差来执行基于维纳滤波器应用处理的边缘保持平滑处理。进一步，IIR滤波器系数计算部根据图像的信号值更新被应用到IIR均值计算部和IIR方差计算部的IIR滤波器系数。在维纳滤波器应用处理中使用的参数通过IIR滤波器应用处理被计算，并且与图像信号对应的噪声降低(NR)处理通过自适应地改变在IIR应用处理中使用的滤波器系数来被实现。

附图说明

图1为示出在使用维纳滤波器和IIR滤波器的组合的过程中的问题的示意图；

图2为示出用于每一个信号的Bayer排列和平滑处理级别的示意图；

图3为示出用于每一个信号的RGBW排列和平滑处理级别的示意图；

图4为示出一种像素排列的实例的示意图，其中，当执行YCbCr彩色空间的处理时，执行Cb像素的数量和Cr像素的数量被减半的稀疏处理；

图5为示出了作为根据本发明实施例的图像处理装置一个成像装置的配置和处理的框图；

图6为示出了信号处理部(数字信号处理器(DSP))的NR处理配置的框图；

图7示出了所述信号处理部(DSP)的NR处理配置的框图；以及

图8示出了信号处理部(DSP)的NR处理顺序的流程图。

具体实施方式

下面，将参考附图详细地描述根据本发明实施例的图像处理装置、图像处理方法和程序。将根据以下项目进行描述。

1.根据本发明实施例的信号处理详情

2.图像处理装置的配置和处理

2-1.图像处理装置的整个配置实例

2-2.图像处理装置的整个操作实例

3.信号处理部的配置和处理的详情

4.图像处理顺序

5.其他实施例

6.根据本发明实施例的配置的概述

<1.根据本发明实施例的信号处理详情>

首先，将描述由根据本发明实施例的图像处理装置执行的信号处理。

根据本发明的实施例，例如，所述图像处理装置可以从相机捕获的图像中接收包含预定噪声的信号，对所述输入信号执行高性能的边缘保持平滑处理，从而以较低的计算量和较小规模的电路来生成噪声降低后的图像。

尽管执行使用IIR滤波器的信号处理，来有效地降低在根据本发明实施例的所述图像处理装置诸如DSP的信号处理部中的计算量和电路规模，但是也能实现有效地抑制IIR滤波器的相移的问题和精确地保持边缘的处理。

另外，当信号为作为二维信号的图像时，电路规模进一步被有效地减少，同时实现有效边缘保持。

为了解决这些问题，根据本发明实施例的图像处理装置基于维纳滤波器和IIR滤波器来实现边缘保持平滑处理。

就在边缘保持平滑处理(降噪处理)中使用维纳滤波器的技术而言，存在多个先前的研究，包括2003年IEEE国际会议图像处理分册上由F.Jin、P.Fieguth、L.Winger和E.Jernigan发表的“Adaptive Wiener filteringof noisy images and image sequences”文章(F.Jin，P.Fieguth，L.Winger，and E.Jernigan’s“Adaptive Wiener filtering of noisy images and imagesequences，”Proceedings of the IEEE International Conference on ImageProcessing，2003)。

众所周知，当作为降噪对象的信号和噪声历经静态高斯处理时，由维纳滤波器进行的降噪处理是最佳的滤波。

进一步，当信号历经白高斯处理时，由维纳滤波器进行的信号处理可以用以下表达式(2)来表示。

p_NR(t)＝β(t)p(t)+(1-β(t))μ(t)

$\mathrm{\&beta;}\left(t\right)=\frac{{{\mathrm{\&sigma;}}_p}^2\left(t\right)}{{{\mathrm{\&sigma;}}_p}^2\left(t\right)+{{\mathrm{\&sigma;}}_n}^2\left(t\right)}...\left(2\right)$

在上述表达式(2)中，

t表示时间，

p(t)表示信号值(＝校正(NR)对象的关键像素的校正之前的像素值)，

p_NR(t)表示降噪之后的信号值(＝在校正(降噪)对象的关键像素的校正之后的像素值)，

μ(t)表示没有叠加噪声的理想信号的均值，

σ_p ²(t)表示没有叠加噪声的理想信号的方差，

σ_n ²(t)表示噪声的方差，

β(t)为范围为[0，1]的变量，即β＝0至1，如上述表达式所示。

当然，因为预先知道理想信号的值是不可能的，那么精确地知道μ(t)和σ_p2(t)的值也是不可能的。

然而，使用以下表达式(3)可获得这些值的极大近似值。

$\widehat{\mathrm{\&mu;}}\left(t\right)=\frac{1}{N}\underset{\mathrm{dt}}{\mathrm{\&Sigma;}}p(t+\mathrm{dt})$

${{\widehat{\mathrm{\&sigma;}}}_p}^2\left(t\right)=\frac{1}{N}\underset{\mathrm{dt}}{\mathrm{\&Sigma;}}{(p(t+\mathrm{dt})-\widehat{\mathrm{\&mu;}}\left(t\right))}^2-{{\mathrm{\&sigma;}}_n}^2\left(t\right)...\left(3\right)$

在上述表达式(3)中，

t表示时间，

dt表示极小值接近于0的整数，

t+dt表示接近于时间t的时间，

N表示累积的信号值的数量，

μ(^)(t)表示理想信号的均值的近似值，和

σ_p ²(^)(t)表示理想信号的方差的近似值。

注意：显示在诸如μ、σ等字符上的符号[^]被写在诸如μ、σ等字符之后是为了注释的方便，其意味着它们被写为μ(^)等。

在上述表达式(3)中显示的理想信号的均值的近似值μ(^)(t)和理想信号的方差的近似值σ_p ²(^)(t)作为没有叠加噪声的理想信号的均值μ(t)和没有叠加噪声的理想信号的方差σ_p ²(t)是可行的，它们在与上述表达式(2)对应的维纳滤波器中被使用。这些值μ(^)(t)和σ_p ²(^)(t)可以使用IIR滤波器来计算。

使用IIR滤波器计算μ(^)(t)和σ_p2(^)(t)的方法通过以下表达式(4)来表达。

$\widehat{\mathrm{\&mu;}}\left(t\right)=\mathrm{\&gamma;}\left(t\right)p\left(t\right)+(1-\mathrm{\&gamma;}\left(t\right))\widehat{\mathrm{\&mu;}}(t-1)$

η(t)＝γ(t)(p(t))²+(1-γ(t))η(t-1)

${{\widehat{\mathrm{\&sigma;}}}_p}^2\left(t\right)=(\mathrm{\&eta;}\left(t\right)-{\left(\widehat{\mathrm{\&mu;}}\left(t\right)\right)}^2)-{{\mathrm{\&sigma;}}_n}^2\left(t\right)...\left(4\right)$

在上述表达式(4)中，η(t)表示信号值的均方值，且γ(t)表示IIR滤波器的系数。

为了计算上述表达式(4)，需要知道在当前时间t的信号值p(t)和在先前时间t-1的理想信号的均值的近似值μ(^)(t-1)和信号值的均方值η(t-1)。

因为在时间t的信号值p(t)是一个给定值，所以需要被存储在存储器中的值仅仅是理想信号的均值的近似值μ(^)(t-1)和信号值的均方值η(t-1)。

当需要被存储的值的数量较小时，所需的存储器就变少。就实现而言，需要存储的值的数量减轻重量是极为重要的。

另外，表达式(4)的计算量极大地小于上述表达式(3)的计算量。

就实现而言，对于减轻重量也是极为重要的。

尽管当通过组合维纳滤波器和IIR滤波器来执行边缘保持平滑处理时优点很明显，但是如果在上述表达式(4)中使用的参数，即IIR滤波器的系数γ(t)作为不变值被计算，那么通常不能获得足够的边缘保持性能。

这是因为，假定当如上所述参考表达式(2)而使用维纳滤波器时，信号历经白高斯处理。

例如，考虑到在图1所示的输入信号中存在阶梯形变化的情况。

例如，在图1中示出的输入信号101表示图像信号的某一垂直线的像素值。

水平轴为时间且垂直轴为信号值。例如，当处理信号为图像时，信号值对应于诸如图像的一行的亮度的像素值。在时间t₀前/后亮度具有较大的变化。即，这说明存在边缘。

由实线曲线构成的输入信号101为叠加了噪声的信号，并且由虚直线构成的信号102为排除了噪声的理想信号。

t表示当前时间，t₀表示信号以阶梯形变化的时间。

在校正当前时间t输入的关键像素p之时，如果在时间t₀之前的信号被用来计算理想信号的均值的近似值μ(^)(t)和在维纳滤波器中使用的理想信号的方差的近似值σ_p2(^)(t)，那么这就变成使用与白高斯处理相反的信号的计算，并导致边缘保持性能的降低。

为了获取足够的性能，用来计算μ(^)(t)和σ_p2(^)(t)的区间应该是从t₀至t的范围。

即，应该选择这样的区域作为参考像素区域，在该区域中与作为校正对象的关键像素相比信号值的变化较小。具体地，优先选择小于或者等于预设阈值的信号区间。

在IIR滤波器计算中尽管在之前所有时间处的信号会影响当前时间处的计算，但是先前信号的影响可以由IIR滤波器的系数γ(t)的值来控制。

例如，如果具有如图1所示的信号值变化的图像信号被输入并且对关键像素P进行校正，消除在与边缘部分对应的时间t₀之前的信号的影响是有效的。在这种情况下，优选在时间t0的γ(t0)值为0。

即，优选地，如果通过组合维纳滤波器和IIR滤波器来执行边缘保持平滑处理，那么γ(t)值根据边缘的强度自适应变化。优选地，如果边缘的强度在时间t较强，那么γ(t)被控制以使γ(t)值变得接近0，并且如果边缘的强度较弱，那么γ(t)值变得接近1。

根据上述配置，可以将该边缘保持平滑处理有效地应用到任意的一维信号中。

进一步，考虑到在作为降噪处理对象的信号是图像的情况。

因为图像基本上为二维信号，所以维纳滤波器应当被认为用于二维信号。例如，作为具体技术，有这样一种计算方法，它使用在以关键像素为中心的各向同性的二维局部区域中的像素值。然而，当图像处理使用与相机信号处理中相同的延迟线时，各向同性滤波器的二维实现就相当昂贵。

在水平方向和垂直方向上分解(break down)该滤波器来解决该问题。

在二维线性无限冲激响应(FIR)中，处理被水平和垂直地分解。应当明白，在一维滤波器被应用到一个方向之后在另一个方向上再应用一维滤波器，可以获得与二维线性FIR滤波器相同的结果。

在根据本发明实施例的技术中因为存在使用IIR的维纳滤波器，所以在水平和垂直方向被分解的滤波器的处理结果与二维各向同性维纳滤波器的处理结果不同，但是可以获得足够的近似值。

存在以下两类降噪方法。

(1)根据本发明实施例的技术被应用在水平和垂直方向二者。

(2)根据本发明实施例的技术仅被应用在水平和垂直的一个方向。在后者方法(2)的情况下，优选地，对于根据本发明实施例的技术未应用的方向的处理使用各向同性边缘保持平滑处理。

总之，基于各向同性滤波器的处理是优选的，因为相位偏移在图像处理中是明显的。

即，优选地，在延迟线是必要的方向上应用根据本发明实施例的实施费用较低的技术，并且在无需延迟线的方向上一维地执行各向同性边缘保持平滑。因而，有可能实现这样的边缘保持平滑处理，它比当根据本发明实施例的技术被用于两个方向时具有更小相位偏移，并且比当各向同性滤波器在两个方向被使用时具有更低实现成本。

考虑到噪声叠加到包含多种颜色的彩色图像上并通过应用根据本发明实施例的技术作为图像的边缘保持平滑处理来消除噪声的情况。

例如，在RGB图像的情况下，作为最简单的处理方法，是针对R、G和B三种图像使用相同的参数进行处理。

然而，如果考虑人眼的视觉特性，优选地，分别处理叠加在亮度上的噪声和叠加在色差上的噪声。

人的视力对于亮度的变化是敏感的，但是对于色差的变化不敏感。因而，在消除噪声时，对亮度施加弱平滑而对色差施加强平滑就可在视觉上有效地消除噪声。

例如，在RGB图像被转换为由各种亮度级别和色差表示的彩色空间诸如YCbCr彩色空间和Lab彩色空间之后，以上述类型可有效地执行处理。

即，当RGB图像被转换为YCbCr彩色空间时，对亮度信号Y执行弱平滑处理而对色差信号CbCr执行强平滑处理。

另外，当RGB图像被转换为Lab彩色空间时，对亮度信号L执行弱平滑处理而对色差信号ab执行强平滑处理。

另外，当应用到RGB彩色空间时，有效的是对与亮度具有高相关性的G信号施加弱平滑处理，并且对与色差具有高相关性的R和B信号施加强平滑处理。

信号处理部，例如在普通相机中执行信号处理的诸如数字信号处理器，接收和处理来自成像元件的拼接图像，即在拼接图像中，在每一个像素位置仅设置RGB之一的像素值。

例如，从单片成像元件获取的图像变成如图3所示的彩色拼接图像，其具有包括如图2所示的RGB排列的Bayer排列，或由包括所有光波长都穿过白(W)的RGBW构成的彩色排列。

在彩色拼接图像的情况下，通常确定彩色排列，以便其中像素的数量较大的颜色成为与亮度具有强相关性的信号，并且像素的数量较小的颜色成为与色差具有强相关性的信号。

优选地，当来自成像元件的输入图像信号为如图2所示的Bayer排列时，相机的信号处理部(DSP)对G信号施加弱平滑，而对R和B信号施加强平滑。

在如图3所示的RGBW排列的情况下，优选地，弱平滑被应用到W信号而强平滑被应用到R、G和B信号。

通过如上所述的根据彩色信号来施加处理，就可执行视觉有效的NR。

在相机中，YCbCr彩色空间的处理被配置为被执行，而通过使用视力对色差不敏感的事实的稀疏处理，Cb像素的数量和Cr像素的数量被减半。

在这种情况下，例如，从信号处理的便利性出发，生成并处理亮度信号Y和色差信号Cb和Cr，其中如图4的(A)所示Y被设置为对于所有像素都有像素值，而如图4的(B)所示Cb和Cr被设置为在水平方向交替地具有数据。

正如在图4的(B)所示的在水平方向交替地具有数据的CbCr图像以及在如图2和3所示的彩色拼接图像中，对于在一幅图像中有规则地排列不同颜色的图像，可执行基于使用延迟线的相机信号处理的边缘保持平滑处理。

即，通过从高阶行开始按照光栅扫描次序从成像元件读取和接收像素值，并且在行存储器中保留当前读取行(线)之前的行(延迟线)的像素值，从而使用保持在该行存储器中的像素值来执行处理。

使用延迟线的相机信号处理基于滑动窗口的处理类型，并且按照光栅扫描的顺序，逐个地处理像素。

即，特定电路在特定定时处对一种颜色进行处理。

当采用上述处理类型时，如果在输入图像中不同的颜色规则排列，那么相同的电路可以通过时间划分来共用。

将描述如图4的(B)所示的CbCr图像处理的实例。

在水平方向执行的典型的各向同性边缘保持平滑处理中，因为仅使用具有相同颜色的像素进行处理，所以以图4的(B)所示的设置的一个像素的间隔来引用像素值。

因为即使当关键像素的颜色为Cb或Cr或者相同内容的计算被完全执行时参考模式不会改变，所以相同的电路可以在Cb和Cr之间被共用。

因为图4的(B)所示CbCr图像在垂直方向具有相同的颜色，当在垂直方向上根据本发明实施例执行边缘保持平滑处理时，该处理与当本发明被应用到上述一维信号时的处理相同。

为了执行IIR滤波器的计算，在垂直方向的先前像素的位置计算的像素值的均值和像素值的均方值是必要的。

尽管保留这些值的存储器的参考位置随着作为降噪对象的像素的位置而变化，但是因为涉及其他计算的任何像素位置上不存在变化，所以相同的电路仍可以在Cb和Cr之间被共用。

即使在图2或3所示的图像中，如果彩色排列的规则性被很好使用，那么该处理可以在不同颜色之间被共用，正如图4所示的情况那样。

如上所述，使用规则排列的颜色通过时间划分，在不同的颜色之间共用相同电路，以致电路的规模可以被减小。

<2.图像处理装置的配置和处理>

下面，作为根据本发明的图像处理装置的实施例，将描述成像装置(数码相机)的配置和处理。

首先将描述整个配置和操作，然后再描述每一个部分的配置和操作。最后，描述能够从该实施例延伸的本发明实施例的各种变型。

(2-1.图像处理装置的整体配置实例)

图5为成像装置(数码相机)的配置的框图，它是根据本发明的图像处理装置的一个实施例。

如图5所示，成像装置具有镜头201、光圈202、诸如包括电荷耦合器件(CCD)图像传感器等的成像元件203、相关双采样(CDS)电路204、模拟数字(A/D)转换器205、信号处理部(DSP)206、定时信号发生器(TG)207、数字模拟(D/A)转换器208、视频编码器209、视频监视器210、编码解码器(CODEC)211、存储器212、中央处理单元(CPU)213和输入器件214。

这里，输入器件214包括诸如在相机主体上的记录按钮的操作按钮。另外，信号处理部(DSP)206为具有用于信号处理的处理器和图像随机存取存储器(RAM)的模块。用于信号处理的处理器可以对存储在图像RAM中的图像数据执行预定的图像处理。下面，信号处理部(DSP)206可以简单地当作DSP 206。

(2-2.图像处理装置的整个操作实例)

下面，将描述该实施例的成像装置的整个操作实例。

穿过镜头201等的光学系统并且到达成像元件203的入射光到达每一个光接收元件，例如，在构成成像元件203的CCD成像表面上，并且由光接收元件根据光电转换被转换为电子信号。

在从成像元件202输出的电子信号历经由CDS电路204的初始降噪和A/D转换器205的数字转换之后，转换的信号被临时存储在信号处理部(DSP)206的图像存储器中。

TG 207控制信号处理系统以便在成像期间的状态下以固定帧率来保持图像捕获。在像素流以固定速率被发送到信号处理部(DSP)206并且历经适当的图像处理之后，图像数据被发送到D/A转换器208、CODEC 211或两者中。

D/A转换器208将从信号处理部(DSP)206发送的图像数据转换为模拟信号，视频编码器209将所述模拟信号转换为视频信号，并且所述视频监视器210可以监视所述视频信号。视频监视器210在该实施例中作为相机的取景器使用。

另外，CODEC 211将从信号处理部(DSP)206发送的图像信号进行编码，并且所述编码后的图像数据被记录在存储器212中。这里，存储器212可以为使用半导体、磁记录介质、磁性光记录介质、光记录介质等的记录器件。

以上是该实施例的成像装置的整个系统的描述。

<3.信号处理部的配置和处理的详情>

例如，在图5所示的成像装置的配置中，信号处理部(DSP)206执行在之前项目[1.根据本发明实施例的信号处理的详情]中描述的信号处理。

下面，将详细描述在信号处理部(DSP)206中执行的信号处理的实例。

例如，针对输入到信号处理部(DSP)206的信号流，信号处理部(DSP)206使用计算单元连续地执行由预定程序代码中描述的计算操作。

在以下描述中，程序的每一个处理单元被描述为一个功能模块，并且每一个处理的执行顺序在流程图中被描述。然而，除了在该实施例中描述的程序的类型，信号处理可以通过装配执行与将在下文中被描述的功能模块的相同处理的硬件电路来被执行。适于装配该硬件电路的配置将在该实施例中一起被描述。

图6为信号处理部(DSP)206的框图，其中在信号处理部(DSP)206中将被执行的每一个功能表示为一个框。

尽管在成像装置的信号处理部(DSP)中通常执行各种信号处理操作，但是在图6仅仅示出根据本发明实施例的NR处理相关的处理配置。

下面，使用边缘保持平滑处理将叠加在图4的(B)所示的CbCr图像的噪声消除的实例将被描述。

如图6所示，将在信号处理部(DSP)206中执行的NR处理被大致分为两个处理。

第一个处理基于水平NR部301，其中对输入图像执行水平方向的降噪处理，并且第二处理基于垂直NR部302，其中执行垂直方向的降噪处理。

输入图像从图5所示的A/D转换器部205输入，并且数字信号值(像素值)按照光栅扫描的顺序被输入。具体地，例如，像素值从高阶行以从左到右的方向被输入。

输入图像的像素值被首先输入到水平NR部301并历经水平方向的降噪处理。

例如，水平NR部301被描述为使用利用现有技术的各向同性滤波器的边缘保持平滑处理。

当一维的双边滤波器被用作实现水平NR部301的实例时，根据以下表达式(5)的像素值转换将被执行。

$w_x\left(\mathrm{dx}\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_x}{e}^{-\frac{{\mathrm{dx}}^2}{2{{\mathrm{\&sigma;}}_x}^2}}$

$w_p(x,y,\mathrm{dx})=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_p}{e}^{-\frac{{(p(x,y)-p(x+\mathrm{dx},y))}^2}{2{{\mathrm{\&sigma;}}_c}^2}}$

w(7x，y，dx)＝w_x(dx)w_p(x，y，dx)

$p_{\mathrm{HNR}}(x,y)=\frac{\underset{\mathrm{dx}}{\mathrm{\&Sigma;}}w(x,y,\mathrm{dx})p(x+\mathrm{dx},y)}{\underset{\mathrm{dx}}{\mathrm{\&Sigma;}}w(x,y,\mathrm{dx})}...\left(5\right)$

在上述表达式(5)中，x表示水平方向的像素的位置，y表示垂直方向的像素的位置。

dx为具有偶数值(even value)的变量。

p(x，y)表示在降噪处理之前的像素值，以及p_NHR(x，y)表示在水平方向的降噪处理之后的像素值。

这里，两个不同颜色Cb和Cr的像素值无差别地使用p(x，y)和p_NHR(x，y)来表达。

w_x(dx)为应用到空间方向的加权函数，以及w_p(x，y，dx)为应用到像素值方向的加权函数。

两个函数均为高斯函数，并且加权的影响范围是由标准偏差σ_x和标准偏差σ_p来控制，并且作为用来改变平滑强度的参数。

例如，通过根据上述表达式(5)的处理，历经水平方向的降噪处理的像素被输入到垂直NR部302。垂直NR部302对历经水平NR部301执行的水平方向的降噪处理的图像执行垂直方向的降噪处理。

如图6所示的垂直NR部302具有如下单元：

IIR均值更新部303，其根据IIR滤波器应用处理计算校正对象像素周围的参考像素的像素值的均值；

IIR均方值更新部304，其根据IIR滤波器应用处理计算所述校正对象像素周围的参考像素的信号值的均方值；

IIR方差计算部305，其根据IIR滤波器应用处理计算所述校正对象像素周围的参考像素的信号值的方差；

边缘保持平滑处理部306，其接收参考像素的均值和方差，并且根据维纳滤波器应用处理执行边缘保持平滑处理；以及

IIR滤波器系数计算部307，其根据参考像素的信号值来更新要应用到IIR均值更新部303和IIR均方值更新部304的IIR滤波器系数。

IIR均值更新部303根据以下表达式(6)通过IIR滤波器计算像素值的垂直方向均值μ(^)(x，y)。

$\widehat{\mathrm{\&mu;}}(x,y)=\mathrm{\&gamma;}(x,y)p_{\mathrm{HNR}}(x,y)+(1-\mathrm{\&gamma;}(x,y))\widehat{\mathrm{\&mu;}}(x,y-1)...\left(6\right)$

在上述表达式(6)中，γ(x，y)为IIR滤波器系数。

对于像素值的垂直方向均值μ(^)(x，y)的初始值，优选地，根据上述表达式(5)在由水平NR部301计算的位置(y＝0)的水平方向的降噪之后的像素值p_HNR(x，0)被使用。

上述表达式(6)对应于上述表达式(4)的理想信号的均值近似值μ(^)(t)的计算表达式。

即，图6所示的IIR均值更新部303使用维纳滤波器应用处理(与表达式(2)对应)计算理想信号的均值的近似值μ(^)(t)，作为使用IIR滤波器的IIR均值，并输出计算后的值到随后阶段的边缘保持平滑处理部306，所述维纳滤波器应用处理由随后阶段的边缘保持平滑处理部306执行。

计算后的值也被提供给IIR方差计算部305。

根据以下表达式(7)，IIR均方值更新部304通过IIR滤波器计算像素值的垂直方向均方值η(x，y)。

η(x，y)＝γ(x，y)(p_HNR(x，y))²+(1-γ(x，y))η(x，y-1)

                                                     ...(7)

在上述表达式(7)中，γ(x，y)为IIR滤波器系数。

对于像素值的垂直方向的均方值γ(x，y)的初始值，优选地，在水平NR部301中根据上述表达式(5)计算的位置(y＝0)的水平方向的降噪之后使用像素值p_HNR(x，0)计算的p_HNR(x，0)²被使用。

上述表达式(7)对应于用于上述表达式(4)的信号值的均方值η(t)的计算表达式。

图6所示的IIR均方值更新部304，为在表达式(4)中所示的、对于计算在由随后阶段的边缘保持平滑处理部306执行的维纳滤波器应用处理(与表达式(2)对应)中使用的理想信号的方差的近似值σ_p ²(^)(t)必要的信号值，来计算均方值η(t)，并输出计算后的值到图6所示的随后阶段IIR方差计算部305中。

就在上述表达式(6)和(7)中所使用的IIR滤波器的系数γ(x，y)而言，例如，与参考表达式(4)的上述描述一样，γ(x，y)的值被控制以便如果垂直方向的边缘的强度为强，那么γ(x，y)值被指定为接近于0，以及如果垂直方向的边缘的强度为弱，那么γ(x，y)值被指定为接近于1。尽管任何方法可以被用来获取γ(x，y)，但是以下将描述了几个实例。

图6所示的IIR方差计算部305接收根据上述表达式(6)由IIR均值更新部303计算的像素值的垂直方向的均值μ(^)(x，y)和根据上述表达式(7)由IIR均方值更新部304计算的像素的垂直方向的均方值η(x，y)，并且根据以下表达式(8)来计算像素的垂直方向的方差σ_p ²(^)(x，y)。

${{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y)=(\mathrm{\&eta;}(x,y)-{\left(\widehat{\mathrm{\&mu;}}(x,y)\right)}^2)-{{\mathrm{\&sigma;}}_n}^2(x,y)...\left(8\right)$

尽管σ_n ²(x，y)在上述表达式(8)中表示噪声的方差值，优先地，给出能适合整个屏幕的统一固定值。当然，如果有关于叠加在Cb和Cr上的噪声特性的现有知识，那么更优选地，应当根据像素的位置自适应地改变σ_n ²(x，y)。例如，现有知识是关于用于像素值Cb和Cr的噪声的方差的程度。

上述表达式(8)对应于在上述表达式(4)中的理想信号的方差的近似值σ_p ²(^)(t)的计算表达式。

即，图6所示的IIR方差计算部305使用维纳滤波器应用处理(对应于表达式(2))计算理想信号的方差的近似值σ_p ²(^)(x，y)作为使用IIR滤波器的IIR方差，并输出计算后的值到随后阶段的边缘保持平滑处理部306，所述维纳滤波器应用处理由随后阶段的边缘保持平滑处理部306执行。

计算后的值也被提供给IIR滤波器系数计算部307。

边缘保持平滑处理部306接收水平NR部301的输出p_HNR(x，y)、根据上述表达式(6)由IIR均值更新部303计算的像素值的垂直方向均值μ(^)(x，y)、以及根据上述表达式(8)由IIR方差计算部305计算的像素值的IIR方差σ_p ²(^)(x，y)，来执行垂直方向的边缘保持平滑处理和消除垂直方向的噪声。

垂直方向的边缘保持平滑处理由以下表达式(9)来表示。

$p_{\mathrm{NR}}(x,y)=\mathrm{\&beta;}(x,y)p_{\mathrm{HNR}}(x,y)+(1-\mathrm{\&beta;}(x,y))\widehat{\mathrm{\&mu;}}(x,y)$

$\mathrm{\&beta;}(x,y)=\frac{{{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y)}{{{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y)+{{\mathrm{\&sigma;}}_n}^2(x,y)}...\left(9\right)$

在上述表达式(9)中，μ(^)(x，y)表示IIR均值更新部303的输出，且p_NR(x，y)表示在垂直方向降噪以后的像素值。

β(x，y)为范围是[0，1]的变量，即，β＝0至1，如上述表达式所示。

μ(^)(x，y)为IIR方差计算部305的输出。

上述表达式(9)与由与上述表达式(2)中相同的维纳滤波器进行的信号处理相对应。

边缘平滑处理部306接收水平NR部301的输出p_HNR(x，y)、根据上述表达式(6)由IIR均值更新部303计算的像素值的垂直方向均值μ(^)(x，y)、以及根据上述表达式(8)由IIR方差计算部305计算的像素值的IIR方差σ_p ²(^)(x，y)，以根据维纳滤波器的信号处理执行垂直方向的边缘保持平滑处理并消除垂直方向的噪声。

即，例如，根据由IIR方差计算部305计算的方差，将IIR均值更新部303生成的均值与校正对象像素的信号值进行混合处理，由此边缘保持平滑处理部306计算校正对象像素的校正值后的信号值。

对于将由IIR均值更新部303生成的均值与校正对象像素的信号值进行混合的处理，具体的混合处理的类型如下。

当由IIR方差计算部305计算的方差为v1并且控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为(v1-v2)/v2的混合处理。

可替代地，当由IIR方差计算部305计算的方差为v1并且控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为v1/(v1+v2)的混合处理。

通过上述类型的混合处理来计算校正像素值。

IIR系数计算部307接收根据上述表达式(8)由IIR方差计算部305计算的IIR方差σ_p ²(^)(x，y-1)，并且基于边缘强度计算IIR滤波器系数γ(x，y)。这里，使用在作为边缘强度索引的(x，y-1)像素位置上计算的垂直方向方差，根据以下表达式(10)来计算γ(x，y)。

$\mathrm{\&gamma;}(x,y)=\min (s{{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y-1),1)...\left(10\right)$

在上述表达式(10)中，s为控制边缘的灵敏度的调节参数。

由IIR滤波器系数计算部307根据上述表达式(10)计算的IIR滤波器系数γ(x，y)被提供给图6中示出的IIR均值更新部303和IIR均方值更新部304。

在IIR均值更新部303中，根据上述表达式(6)应用最新计算的IIR滤波器系数γ(x，y)来计算IIR均值μ(^)(x，y)。

在IIR均方值更新部304中，根据上述表达式(7)应用最新计算的IIR滤波器系数γ(x，y)来计算IIR均方值η(x，y)。

上述表达式(10)为获取IIR滤波器系数γ(x，y)的实例。

作为获取IIR滤波器系数γ(x，y)的处理，以下处理是可能的。

例如，使用像素值与像素值的均值之间的差的处理是适用的，如以下表达式(11)所示。

$\mathrm{\&gamma;}(x,y)=\min \left(t\right|p_{\mathrm{HNR}}(x,y)-\widehat{\mathrm{\&mu;}}(x,y-1)|,1)...\left(11\right)$

在上述表达式(11)中，t为控制边缘的灵敏度的调节参数。

另外，如以下表达式(12)所示，使用临近像素之间的像素值差的处理是可能的。

γ(x，y)＝min(u|p_HNR(x，y)-p_HNR(x，y-1)|，1)

                                               ...(12)

在上述表达式(12)中，u为控制边缘的灵敏度的调节参数。

如上所述，各种方法都被作为获取IIR滤波器系数γ(x，y)的处理。

如上所述，IIR滤波器系数计算部307可以被设置为在各种类型的处理中连续计算IIR滤波器系数，所述处理包括：

根据由IIR方差计算部计算的方差来连续计算新的IIR滤波器系数的处理；

基于校正对象像素的信号值与由IIR均值计算部计算的均值之间的差来连续计算新的IIR滤波器系数的处理；和

基于校正对象像素的信号值与前一个输入像素的信号值之间的差来连续计算新的IIR滤波器系数的处理。

当使用上述表达式(11)或(12)时，优选地，做出改变以使得在表达式(11)或(12)中必需有输入到IIR滤波器系数计算部307的信号。

如上所述，存在各种获取IIR滤波器系数γ(x，y)的方法。尽管在表达式(10)中仅使用了水平NR部301的输出中的先于像素位置(x，y-1)的信号，即先于p_HNR(x，y)的信号，但是当前信号p_HNR(x，y)可以被包括，如表达式(11)或(12)中所示。

根据上述实施例，使用边缘保持平滑处理来消除图4所示的叠加在CbCr图像上的噪声是可能的。

尽管在参考图6描述处理实例中描述了仅在垂直方向上的处理的实例，但是相同的处理可以被配置为应用到水平方向和垂直方向的任意一个方向或两个方向。

另外，亮度信号图像和彩色信号图像可以作为处理对象图像被分别输入，并且边缘保持平滑的强度被改变的处理可被配置成被执行。

到此尽管已经基于图6所示的整体方面描述了用于CbCr图像的边缘保持平滑处理，但是适于在相机信号处理的类型中实施的配置被显示在图7中。

图7为示出了存储器部的图。即，存储器部为设置在水平NR部402的前一级的水平方向像素值缓存401、与IIR均值更新部404对应设置并且保留IIR均值的均值行存储器405、以及与IIR均方值更新部406对应设置并且保留IIR均方值的均方值保留行存储器407。

因为在相机信号处理中存储器的大小极大地决定了电路的规模，所以优选地，使用降低存储器使用量的配置。

假定输入图像的像素按照光栅扫描的顺序逐个地被输入。

使用水平方向像素值缓存401按照水平NR部402的处理所必需的像素的数量对输入像素进行缓冲。

该水平方向的延迟处理可以由小规模电路来实施。

由水平NR部402执行的处理的内容与上述参考图6描述的由水平NR部301执行的处理的内容相同。

比较上述参考图6描述的垂直NR部302，垂直NR部403进一步包括计算方差的处理模块。

即，设置了第一IIR方差计算部408和第二IIR方差计算部410。

其原因如下所述。

在参考图6描述的垂直NR部302的配置中，在像素位置(x，y-1)处计算的IIR滤波器系数需要被保存在存储器中，直到在像素位置(x，y)处执行垂直方向边缘平滑处理。

即，图6所示的IIR滤波器系数计算部307接收根据上述表达式(8)由IIR方差计算部305计算的IIR方差σ_p ²(^)(x，y-1)，并且基于边缘强度计算IIR滤波器系数γ(x，y)。例如，将在像素位置(x，y-1)处计算的方差用作为边缘强度索引，根据上述表达式(10)来计算IIR滤波器系数γ(x，y)。

为了执行该处理，在像素位置(x，y-1)处计算的IIR滤波器系数需要被保存在存储器中，直到在像素位置(x，y)处的垂直方向边缘保持平滑处理被执行。

在图7所示的配置中，第一IIR方差计算部408被配置为计算在像素位置(x，y-1)处的方差σ_p ²(^)(x，y-1)，并提供计算后方差给IIR滤波器系数计算部409，而无需使用用于存储在像素位置(x，y-1)处计算的IIR滤波器系数的独立的存储器。

即，第一IIR方差计算部408计算在像素位置(x，y-1)处的方差σ_p ²(^)(x，y-1)，并提供计算后的方差给IIR滤波器系数计算部409。

第二IIR方差计算部410计算在像素位置(x，y)处的方差σ_p ²(^)(x，y)，并且提供计算后的方差给边缘保持平滑处理部411。

在上述配置中存储器被减小。

如上所述，电路规模被减小成为这样的配置，其中一个方差计算模块被增加，并且假定要在(x，y-1)处计算的IIR滤波器系数在(x，y)处被计算。

IIR均值更新部404的处理内容与上述参考图6的IIR均值更新部303的处理内容相同。

为了计算在像素位置(x，y)处的均值，在像素位置(x，y-1)处的均值是必需的。

为了保留如上所述在垂直方向的一个像素之前的均值，使用了均值保留行存储器405。

IIR均方值更新部406的处理内容与上述参考图6的IIR均方值更新部304的内容相同。

为了计算在像素位置(x，y)处的均方值，在像素位置(x，y-1)处的均方值是必需的。

为了保留如上所述在垂直方向的一个像素之前的均方值，使用了均方值保留行存储器407。

第一IIR方差计算部408的处理内容与上述参考图6的IIR方差计算部305的处理内容相同。

IIR滤波器系数计算部409的处理内容与上述参考图6的IIR滤波器系数计算部307的处理内容相同。

第二IIR方差计算部410的处理内容与上述参考图6的IIR方差计算部305的处理内容相同。

边缘保持平滑处理部411的处理内容与上述参考图6的边缘保持平滑处理部306的处理内容相同。

根据图7的配置，大容量存储器变成了仅行存储器，对于保留像素值的垂直方向均值μ(^)(x，y)和像素值的垂直方向均方值η(x，y)是必需的。

因为如果像素值的均值具有与像素值相同的字长，那么实现是完全可能的，并且如果像素值的均方值具有像素值的两倍字长，那么实线是完全可能的，所以一个行存储器电路规模对应于在相机信号处理中的三个延迟线。

这对于整个相机信号处理的电路规模是合理的规模。

另外，与使用二维各向同性滤波器的情况相比，计算部中的电路规模更有可能被减小。

这是因为，当将在边缘保持平滑处理中对一个像素使用的周围的像素被定位在N个水平像素和N个垂直像素的局部区域中时，二维滤波器的计算量的阶数变成O(N2)，而根据本发明实施例被分为水平和垂直两个方向的滤波器的计算量的阶数变成的O(N)。

<4.图像处理顺序>

接下来，由图5所示的图像装置的信号处理部(DSP)206执行的处理顺序将参考图8所示的流程图来描述。

图8所示的流程图的处理在图5所示的图像装置的信号处理部(DSP)206中被执行。

例如，DSP 206的CPU的计算单元根据存储在存储器单元中的程序连续地对输入图像信号流执行计算操作，以便进行处理。

将描述图8所示的流程的步骤的处理。

首先，在步骤S101，执行IIR均值更新处理。

例如，由图6所示的IIR均值更新部303来执行处理。

根据上述表达式(6)利用IIR滤波器，IIR均值更新部303计算像素值的均值μ(^)(x，y)。

尽管参考图6所述的处理被描述为一种配置实例，其中垂直NR部302对垂直方向的像素执行处理，但是作为降噪处理而执行的NR处理可以作为与像素排列或像素输入顺序对应的处理来执行，并且也可以作为用于水平方向和垂直方向的处理来执行。NR处理被描述为不限定于图8所示流程的描述中的处理。

接下来，在步骤S102中，执行IIR均方值更新处理。

例如，由图6所示的IIR均方值更新部303来执行该处理。

根据上述表达式(7)利用IIR滤波器，IIR均方值更新部304来计算像素值的均方值η(x，y)。

接下来，在步骤S103中，执行IIR方差计算处理。

例如，由图6所示的IIR方差计算部305来执行该处理。

IIR方差计算部305接收在步骤S101中根据上述表达式(6)由IIR均值更新部303计算的像素值的均值μ(^)(x，y)、以及在步骤S102中根据上述表达式(7)由IIR均方值更新部304计算的像素值的均方值η(x，y)，并且根据上述表达式(8)计算像素值的方差σ_p ²(^)(x，y)。

接下来，在步骤S104中，执行边缘保持平滑处理。

例如，由图6所示的边缘保持平滑处理部306来执行该处理。

边缘保持平滑处理部306接收作为处理对象的像素p_HNR(x，y)、在步骤S101中根据上述表达式(6)由IIR均值更新部303计算的像素值的垂直方向均值μ(^)(x，y)、以及在步骤S103中根据上述表达式(8)的由IIR方差计算部305计算的像素的IIR方差σ_p ²(^)(x，y)，来执行边缘保持平滑处理和消除噪声。

边缘保持平滑处理作为上述表达式(9)，即维纳滤波器应用处理被执行。

步骤S105的处理为IIR滤波器系数计算处理。

该处理在图6所示的IIR滤波器系数计算部307中被执行。

IIR滤波器系数计算部307接收在步骤S103中根据上述表达式(8)由IIR方差计算部305计算的IIR方差σ_p ²(^)(x，y-1)，并基于边缘强度计算IIR滤波器系数γ(x，y)。例如，将在像素位置(x，y-1)处计算的方差用作为边缘强度索引，根据上述表达式(10)来计算γ(x，y)。

根据表达式(10)由IIR滤波器系数计算部307计算的IIR滤波器系数γ(x，y)被提供给在图6所示的IIR均值更新部303和IIR均方值更新部304。将新的系数应用到下一个像素处理的处理也被执行。

即，IIR均值更新部303根据上述表达式(6)通过应用新计算后的IIR滤波器系数γ(x，y)来计算IIR均值μ(^)(x，y)。

IIR均方值更新部304根据上述表达式(7)通过应用新计算后的IIR滤波器系数γ(x，y)来计算IIR均方值η(x，y)。

在步骤S106中，确定所有像素的处理是否已经结束。如果存在像素的处理还未结束，则步骤S101以及随后步骤的处理将被重复执行。

在步骤S106中，如果所有的像素的处理被确定已经结束，该处理结果。

<5.其他实施例>

接下来，将描述上述实施例的改进的实例。

尽管在水平方向的降噪被执行之后垂直方向的降噪被执行的配置已经在上述实施例中被描述，但是两种降噪处理的顺序可以颠倒。

另外，尽管水平方向和垂直方向的每一个的降噪处理的数量在上述实施例中为一个，但是所述降噪处理可以执行许多次。

尽管图6所示的边缘保持平滑处理部306执行根据上述参考表达式(9)的维纳滤波器应用处理，但是具有与维纳滤波器相同效果的其他滤波器也可以被应用。

尽管图6所示的边缘平滑处理部306根据上述表达式(8)通过应用由IIR方差计算部305计算的方差来执行边缘保持平滑处理，但是边缘保持平滑处理可以被配置为按照预定的滤波处理来执行，例如，当在表达式(9)中使用的方差的近似值σ_p ²(^)(x，y)为叠加了噪声的信号的值时，将以下表达式(13)计算的方差输入到边缘保持平滑处理部306中。

${{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y)=\mathrm{\&eta;}(x,y)-{\left(\widehat{\mathrm{\&mu;}}(x,y)\right)}^2...\left(13\right)$

应该存储信号值的均方值，以便在基于维纳滤波器的处理和其他处理中计算信号值的方差。为了减小由于该存储引起的成本，以下表达式(14)可被用作计算方差的近似值σ_p ²(^)(x，y)的方法。

${{\widehat{\mathrm{\&sigma;}}}_p}^2(x,y)={(p_{\mathrm{HNR}}(x,y)-\widehat{\mathrm{\&mu;}}(x,y))}^2...\left(14\right)$

尽管噪声的方差应当根据叠加的噪声特性来适当地设置，但是众所周知当信号为成像元件捕获的图像时，在理想像素值和噪声的方差值之间存在很强的相关性。

表达该相关性的最简单的模型是基于像素值和方差之间的线性关系，例如，正如2010年《IS & T/SPIE电子成像》中A.Bosco的《Signaldependent raw image denoising using sensor noise characterization via multipleacquisitions》(“Signal dependent raw image denoising using sensor noisecharacterization via multiple acquisitions，”A.Bosco，et al.，IS & T/SPIEElectronic Imaging，2010)中所述一样。

这里，因为理想信号值不清楚，如果μ(^)(x，y)被用作为像素值的近似值，那么噪声的方差σ_n ²(x，y)的近似值可使用以下表达式(15)来计算。

${{\mathrm{\&sigma;}}_n}^2\left(t\right)=a\widehat{\mathrm{\&mu;}}\left(t\right)+b...\left(15\right)$

在上述表达式(15)中，a和b为系数，表示通过测量预先获得的模型。

如果输入图像是从A/D转换部205输入之后紧接着的图像，并且在水平方向的边缘保持平滑处理前执行垂直方向的边缘保持平滑处理，那么可使用如上所述的噪声模型。

另外，如果在图像中包括多种颜色，在某一颜色的边缘保持平滑处理中计算的计算结果可以用于其他颜色的计算。这是因为在信号的不同颜色之间存在相关性。

例如，如果彩色空间为YCbCr，清晰的边缘存在于Y信号的一侧，并且噪声比Cb和Cr信号小。

因此，将在Y信号中计算的计算结果用于Cb和Cr信号的处理来提高处理性能是可能的。

例如，正如能够被转用的计算结果一样，上述表达式(9)的系数β(x，y)也可以转用。

当垂直方向的边缘保持平滑处理用于上述图2和3所示的彩色拼接图像时，这与图4的(B)所示CbCr图像被处理时不同，例如，它包括多种颜色。

在这种情况下，优选地，图7所示的均值保留行存储器405或均方值保留行存储器407应当对每一种颜色逐一使用。

另外，图2和3所示的彩色拼接图像是一些实例，并且本发明可以应用到其他的颜色排列。

<6.根据本发明实施例的配置的概述>

应当知道，对于本领域技术人员来说可以想到依据设计需求和其他因素在本发明附带的权利要求及其等同替代的范围内可做出各种改进、组合、子组合和改变。

另外，当前技术可以配置如下。

(1)一种图像处理装置，其包括：

无限冲激响应(IIR)均值计算部，用于根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的均值；

IIR方差计算部，用于根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的信号值的方差；

边缘保持平滑处理部，用于接收所述参考信号的均值和方差，并执行应用了所述均值和方差的边缘保持平滑处理；以及

IIR滤波器系数计算部，用于根据构成图像的像素的信号值来更新被应用到所述IIR均值计算部和IIR方差计算部的IIR滤波器系数。

(2)根据(1)的所述图像处理装置，其中所述边缘平滑处理部基于维纳滤波器应用处理执行所述边缘保持平滑处理。

(3)根据(1)或(2)的所述图像处理装置，其中，所述边缘保持平滑处理部，根据所述IIR方差计算部计算的所述方差，通过将由所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理，来计算所述校正对象像素的校正之后的信号值。

(4)根据(1)到(3)的任意一个的所述图像处理装置，其中，所述边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算在所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为(v1-v2)/v2的混合处理。

(5)根据(1)到(3)的任意一个的所述图像处理装置，其中，所述边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为v1/(v1+v2)的混合处理。

(6)根据(1)到(5)的任意一个的所述图像处理装置，其中所述IIR滤波器系数计算部根据输入信号值连续地计算新的IIR滤波器系数。

(7)根据(1)到(6)的任意一个的所述图像处理装置，其中所述IIR滤波器系数计算部根据由所述IIR方差计算部计算的所述方差来连续地计算新的IIR滤波器系数。

(8)根据(1)到(6)的任意一个的所述图像处理装置，其中所述IIR滤波器系数计算部基于所述校正对象像素的信号值与由所述IIR均值计算部计算的所述均值之间的差来连续计算新的IIR滤波器系数。

(9)根据(1)到(6)的任意一个的所述图像处理装置，其中所述IIR滤波器系数计算部基于所述校正对象像素的信号值与前一个输入像素的信号值之间的差来连续地计算新的IIR滤波器系数。

(10)根据(1)到(9)的任意一个的所述图像处理装置，其中：

二维图像信号作为处理对象图像输入；以及

所述边缘保持平滑处理被应用到水平方向和垂直方向中的至少一个。

(11)根据(1)到(10)的任意一个的所述图像处理装置，其中：

二维图像信号作为处理对象图像输入；

所述边缘保持平滑处理被应用到水平方向和垂直方向中的至少一个；以及

在另一方向上执行各向同性边缘保持平滑处理。

(12)根据(1)到(11)的任意一个的所述图像处理装置，其中：

亮度信号图像和彩色信号图像作为处理对象图像被分别输入；以及

对于每一个图像，其中边缘保持平滑的强度被改变的处理被执行。

进一步，在上述装置中将被执行的处理的方法等或使得所述处理将被执行的程序也被包含在本发明的配置中。

另外，在说明书中描述的一系列的处理可以由硬件、软件或它们的组合来执行。如果根据软件来执行处理，那么可安装和执行内置于专门硬件的在计算机中的存储器中记录处理顺序的程序，或者在可执行各种处理的通用计算机中安装和执行程序。例如，程序可以预先被记录在记录介质上。程序可以从记录介质被安装到计算机上。另外，通过诸如局域网(LAN)或因特网来接收程序和在诸如内置硬盘的记录介质上安装程序是可能的。

在说明书描述的各种处理不仅可以按照描述的时间顺序来执行，还可以根据执行处理的器件的处理能力或需要来并列执行或分开执行。另外，在该说明书中，系统为包含各种设备的逻辑组合配置。所述设备没必要在相同的外壳中。

根据上述的本发明实施例，用于降低图像噪声的装置和方法将被实现。

具体地，例如，根据IIR滤波器应用处理来计算校正对象像素周围的参考像素的信号值的均值和方差，并且通过接收计算后的均值和方差来执行基于维纳滤波器应用处理的边缘保持平滑处理。进一步，IIR系数计算部根据图像的信号值来更新将被应用到IIR均值计算部和IIR方差计算部的IIR滤波器系数。在维纳滤波器应用处理中使用的参数由IIR滤波器应用处理来计算，并且与图像信号对应的NR处理可以通过自适应地改变在IIR应用处理中使用的滤波器系数来执行。

本发明包含于2011年6月9日提交到日本专利局的日本优先权专利申请JP 2011-128824中公开的有关的主题，并且该优选权文本作为参考被整个引用。

Claims (14)

1.一种图像处理装置，其包括：

无限冲激响应IIR均值计算部，用于根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的均值；

IIR方差计算部，用于根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的信号值的方差；

边缘保持平滑处理部，用于接收所述参考信号的均值和方差，并执行应用了所述均值和方差的边缘保持平滑处理；和

IIR滤波器系数计算部，用于根据构成图像的像素的信号值来更新要被应用到所述IIR均值计算部和IIR方差计算部的IIR滤波器系数。

2.如权利要求1所述的图像处理装置，其中所述边缘平滑处理部基于维纳滤波器应用处理执行所述边缘保持平滑处理。

3.如权利要求1所述的图像处理装置，其中所述边缘保持平滑处理部，根据所述IIR方差计算部计算的所述方差，通过将由所述IIR均值计算部生成所述均值与所述校正对象像素的信号进行混合的处理，来计算所述校正对象像素的校正之后的信号值。

4.如权利要求1所述的图像处理装置，其中，所述边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为(v1-v2)/v2的混合处理。

5.如权利要求1所述的图像处理装置，其中，所述边缘保持平滑处理部被配置为通过将所述IIR均值计算部生成的所述均值与所述校正对象像素的信号值进行混合的处理来计算所述校正对象像素的校正之后的信号值，并且当由所述IIR方差计算部计算的所述方差为v1且用来控制边缘保持平滑的强度的参数为v2时，执行混合率被设置为v1/(v1+v2)的混合处理。

6.如权利要求1所述的图像处理装置，其中所述IIR滤波器系数计算部根据输入信号值连续地计算新的IIR滤波器系数。

7.如权利要求1所述的图像处理装置，其中所述IIR滤波器系数计算部根据由所述IIR方差计算部计算的所述方差来连续地计算新的IIR滤波器系数。

8.如权利要求1所述的图像处理装置，其中所述IIR滤波器系数计算部基于所述校正对象像素的信号值与由所述IIR均值计算部计算的所述均值之间的差来连续地计算新的IIR滤波器系数。

9.如权利要求1所述的图像处理装置，其中所述IIR滤波器系数计算部基于所述校正对象像素的信号值与前一个输入像素的信号值之间的差来连续计算新的IIR滤波器系数。

10.如权利要求1所述的图像处理装置，其中

二维图像信号作为处理对象图像被输入；以及

所述边缘保持平滑处理被应用到水平方向和垂直方向中的至少一个。

11.如权利要求1所述的图像处理装置，其中：

二维图像信号作为处理对象图像被输入；

所述边缘保持平滑处理被应用到水平方向和垂直方向中的至少一个；以及

在另一方向上执行各向同性边缘保持平滑处理。

12.如权利要求1所述的图像处理装置，其中：

亮度信号图像和彩色信号图像作为处理对象图像被分别输入；以及

对于每一个图像边缘保持平滑的强度被改变了的处理被执行。

13.一种在图像处理装置中执行的图像处理方法，其包括：

由IIR均值计算部根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的均值；

由IIR方差计算部根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的信号值的方差；

由边缘保持平滑处理部接收所述参考信号的均值和方差，并执行应用了所述均值和方差的边缘保持平滑处理；和

由IIR滤波器系数计算部根据构成图像的像素的信号值来更新要被应用到IIR均值计算步骤和IIR方差计算步骤的IIR滤波器系数。

14.一种使得图像处理装置执行图像处理的程序，其包括：

由IIR均值计算部根据IIR滤波器应用处理计算校正对象像素周围的参考像素的信号值的均值；

由IIR方差计算部根据所述IIR滤波器应用处理计算所述校正对象像素周围的所述参考像素的信号值的方差；

由边缘保持平滑处理部接收所述参考信号的均值和方差，并执行应用了所述均值和方差的边缘保持平滑处理；和

由IIR滤波器系数计算部根据构成图像的像素的信号值来更新要被应用到IIR均值计算步骤和IIR方差计算步骤的IIR滤波器系数。

Images