CN103460682B - 图像处理装置和方法 - Google Patents

Abstract

按照图像（Din）的每个像素检测以校正对象像素为中心的周边区域的对比度相关值（CT）（1），根据对比度相关值（CT）决定对比度的增强系数（Ken）（2），根据增强系数（Ken）按照每个像素增强局部对比度而生成中间图像（D3）（3）。当对中间图像（D3）在时间方向进行平滑来进行降噪（5）时，根据在增强系数（Ken）大的情况下变大的降噪系数（Knr）控制降噪程度。能够针对在雾、霾等的恶劣天气条件下拍摄到的低对比度图像，适当改善对比度下降部分的对比度并降低伴随对比度改善而被增强的噪声，从而得到高质量的图像。

Description

图像处理装置和方法

技术领域

本发明涉及校正图像的对比度的图像处理装置和方法，特别是涉及为了提高在雾、霾等的恶劣天气条件下拍摄到的低对比度图像的视认性而改善图像的对比度和清晰度的处理以及降低随之增强的噪声的处理。

背景技术

以往，作为校正低对比度图像来生成鲜明图像的技术，提出了各种对比度改善方法。

例如，在专利文献1所述的灰度校正装置中，根据原色信号生成亮度信号，检测生成的亮度信号在画面整体上的分布信息，生成对度数分布在亮度级别的整个范围内进行平滑的灰度校正转换表，根据灰度校正转换表的输入与输出的比率计算校正系数，对各原色信号乘以相同的校正系数，从而进行图像整体的高对比度化。

并且，在专利文献2所述的图像处理装置中，生成保存有输入图像数据的边缘成分的平滑图像数据，对输入图像数据与平滑图像数据之间的差分进行放大并与平滑图像数据相加，从而进行图像的高频成分的对比度增强。

一般，上述对比度改善处理的目的在于，在图像整体或局部区域中扩展亮度分布的范围。然而，当进行亮度分布的范围伸展时，对于进行伸展后的亮度级别，不仅信号被放大，而且连噪声也被放大，存在有损画质的问题。

因此，在专利文献3所述的摄像装置中，将灰度校正后的图像通过小波(wavelet)变换分离成多个频率成分，通过针对分离出的多个频率成分进行核化(coring)来进行降噪，根据灰度校正曲线设定核化阈值，由此，抑制与在进行灰度校正时产生的噪声放大程度对应的噪声成分。

现有技术文献

专利文献

专利文献1：日本特开2004－342030号公报(第0036～0072段)

专利文献2：日本特开2001－298621号公报(第0008～0041段)

专利文献3：日本特开2008－199448号公报(第0025～0083段)

发明内容

发明要解决的课题

然而，在专利文献3所述的摄像装置中，在图像信号的对比度极低，信号的振幅是与噪声的振幅大致相同程度的情况下，在降噪中不能设定适当的核化阈值，不能限制噪声而仅充分放大信号。特别是在有雾、霾的图像中，在远景等对比度极低的部位，为了使被摄体的信号的振幅放大到视认级别，需要使范围也伸展到10倍以上，然而在被摄体的信号的振幅和噪声的振幅是相同程度的情况下，噪声也被放大到10倍以上，存在本来应不显著的噪声被视认而画质下降的问题。

并且，在专利文献3所述的摄像装置中，为了降噪而去除高频成分，因而边缘部分发生模糊。因此，与专利文献2所述的在图像的局部区域中进行对比度改善的方法组合的情况下，尽管进行了图像的高频成分的对比度增强，然而为了降噪而使高频成分衰减，存在否定效果的问题。特别是在有雾、霾的图像中，虽然通过对比度增强可得到去除霾的效果，但是由于通过降噪使边缘部分模糊而再次看起来像霾。

因此，本发明正是为了解决上述现有技术的课题而完成的，其目的在于提供一种图像处理装置和方法，能够针对在雾、霾等的恶劣天气条件下拍摄到的低对比度图像，适当改善对比度下降部分的视认性，并且降低伴随对比度改善而被增强的噪声，从而得到高质量的图像。

用于解决课题的手段

本发明的一个方式的图像处理装置，其特征在于，所述图像处理装置具有：

低对比度部分检测单元，其将输入图像的各像素作为校正对象像素，检测所述输入图像的该校正对象像素的周边区域的对比度相关值；

增强系数决定单元，其根据由所述低对比度部分检测单元检测到的所述对比度相关值，决定针对该校正对象像素的对比度的增强系数；

局部对比度增强单元，其根据由所述增强系数决定单元决定的所述增强系数，增强所述输入图像的该校正对象像素的局部区域的对比度，输出局部对比度增强图像；

降噪系数生成单元，其针对由所述增强系数决定单元决定的所述增强系数，生成随着该增强系数变大而变大的降噪系数；以及

三维降噪单元，其横跨多个帧在时间方向上对所述局部对比度增强图像进行平滑，由此进行该校正对象像素的噪声成分的降噪，

所述三维降噪单元根据由所述降噪系数生成单元生成的降噪系数，控制针对该校正对象像素的降噪程度。

本发明的另一方式的图像处理装置，其特征在于，所述图像处理装置具有：

三维降噪单元，其将输入图像的各像素作为校正对象像素，横跨多个帧在时间方向上对所述输入图像进行平滑，由此进行该校正对象像素的噪声成分的降噪，输出三维降噪图像；

低对比度部分检测单元，其检测所述三维降噪图像的该校正对象像素的周边区域的对比度相关值；

增强系数决定单元，其根据由所述低对比度部分检测单元检测到的所述对比度相关值，决定针对该校正对象像素的对比度的增强系数；

局部对比度增强单元，其根据由所述增强系数决定单元决定的所述增强系数，增强所述三维降噪图像的该校正对象像素的局部区域的对比度，输出局部对比度增强图像信号；

降噪系数生成单元，其针对由所述增强系数决定单元决定的所述增强系数，生成随着该增强系数变大而变大的降噪系数；以及

第1帧存储器，其存储1帧量的由所述降噪系数生成单元生成的针对各像素的所述降噪系数，

所述三维降噪单元根据存储在所述第1帧存储器内的针对一帧前的各像素的所述降噪系数，控制针对该校正对象像素的降噪程度。

发明效果

根据本发明，由于能够根据局部对比度增强的增强系数设定用于进行降噪的降噪系数，因而能够根据伴随局部对比度增强的噪声放大程度适当地降低噪声。

并且，由于具有横跨图像的多个帧在时间方向上对噪声成分进行平滑的三维降噪单元，因而能够仅减少随机噪声成分而不会使已增强的被摄体的信号的振幅衰减。并且，能够进行降噪而不会在静态图像中产生边缘部分的模糊。

因此，能够针对在雾、霾等的恶劣天气条件下拍摄到的低对比度图像，适当改善对比度下降部分的对比度，并且降低伴随对比度改善而被增强的噪声，从而得到高质量的图像。

附图说明

图1是示出本发明的实施方式1的图像处理装置的结构的框图。

图2是示出图1的增强系数决定单元2中的增强系数Ken与对比度相关值CT关系的一例的图。

图3是示出用于图1的非线性LPF单元32将周边像素的值Ds转换成校正像素值Dst的非线性函数的图。

图4是示出图1的局部对比度增强单元3中的、非线性LPF单元32的输出是D32时的输入信号Sin与输出信号Sout的关系的图。

图5是示出图1的降噪系数生成单元4中的降噪系数Knr与增强系数Ken的关系的图。

图6是示出实施方式1的图像处理装置的动作的流程图。

图7的(a)～(d)是示出实施方式1的图像处理装置的各部中出现的信号的一例的图。

图8是示出本发明的实施方式2的图像处理装置的结构的框图。

图9是示出实施方式2的图像处理装置的动作的流程图。

图10的(a)～(e)是示出实施方式2的图像处理装置的各部中出现的信号的一例的图。

图11是示出本发明的实施方式3的图像处理装置的结构的框图。

图12是示出本发明的实施方式4的图像处理装置的结构的框图。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的图像处理装置的结构的框图。本实施方式1的图像处理装置具有低对比度部分检测单元1、增强系数决定单元2、局部对比度增强单元3、降噪系数生成单元4以及三维降噪单元5。

低对比度部分检测单元1接收表示输入图像Din的输入图像信号，按照该输入图像Din的每个像素检测以校正对象像素为中心的周边区域的对比度相关值CT。输入图像和表示该输入图像的输入图像信号由相同的标号Din表示。以下，对于其它信号也是同样的。

增强系数决定单元2根据由低对比度部分检测单元1检测到的对比度相关值CT，决定每个像素的对比度的增强系数Ken。

局部对比度增强单元3生成根据由增强系数决定单元2决定的增强系数Ken按照输入图像Din的每个像素增强局部对比度而得到的中间图像D3。

如图所示，局部对比度增强单元3例如具有延迟单元31、非线性LPF单元32、增益决定单元33以及乘法器34。

延迟单元31使输入图像信号Din延迟预定量，输出延迟图像信号D31。

非线性LPF单元32使用根据输入图像Din的校正对象像素的值与周边像素的值之间的差分对周边像素的值进行非线性转换而得到的值，按照每个像素进行周边区域的平滑，生成非线性平滑信号D32。

增益决定单元33使用非线性平滑信号32和使输入图像信号Din延迟后的信号(延迟图像信号)D31以及增强系数Ken，决定用于按照输入图像Din的每个像素增强局部对比度的增益G。

乘法器34对延迟图像信号D31的每个像素乘以增益G而生成中间图像D3。

由增益决定单元33和乘法器34构成按照与增强系数Ken对应的混合比对延迟图像信号D31和非线性平滑信号D32进行混合的混合单元35。

并且，由延迟单元31、非线性LPF单元32以及增益决定单元33构成根据延迟图像信号D31、非线性平滑信号D32和增强系数Ken生成增益G的增益生成单元36。

降噪系数生成单元4根据由增强系数决定单元2决定的增强系数Ken，设定用于由三维降噪单元5进行降噪的降噪系数(NR系数)Knr。

三维降噪单元5横跨中间图像D3的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的输出图像Dout。

如图所示，三维降噪单元5例如具有减法器51和53、乘法器52以及帧存储器54，构成帧循环型的降噪装置。

以下，更详细地说明各部件。

输入图像信号Din是亮度信号Y和色差信号Cb、Cr或者三原色信号R、G、B等的合成信号。

低对比度部分检测单元1按照输入图像Din的每个像素计算以校正对象像素为中心的周边区域的对比度相关值CT，用于检测图像中的对比度低的部分。对比度相关值CT是以校正对象像素为中心的周边区域内包含的像素间的对比度，即与亮度分布的范围宽度相关的量。

即，求出在对比度局部较低的区域内为小值，在对比度局部较高的区域内为大值的对比度相关值CT。换言之，求出在以该校正对象像素为中心的周边区域的对比度低的情况下为小值，在以该校正对象像素为中心的周边区域的对比度高的情况下为大值的值，作为针对各校正对象像素的对比度相关值。

对比度相关值CT例如是通过如下方式计算出的：在以第1预定大小的窗例如11×11像素的窗内的各像素为中心的第2预定大小的窗例如5×5像素的窗中，求出窗内的全部像素的值的标准偏差，并进一步在上述第1预定大小的窗即11×11像素的窗内对求出的标准偏差进行平均，其中所述第1预定大小的窗以校正对象像素为中心。更详细地说，针对以校正对象像素(其位置由坐标(h，v)表示)为中心的第1预定大小的窗例如11×11像素的窗内的11×11个像素(以由坐标(h－5，v－5)、(h+5，v－5)、(h－5，v+5)、(h+5，v+5)表示的位置为四角的矩形窗内的像素)的各个像素，求出以其为中心的第2预定大小的窗例如5×5像素的窗(例如针对由坐标(h－5，v－5)表示的位置的像素，以由坐标(h－7，v－7)、(h－3，v－7)、(h－7，v－3)、(h－3，v－3)表示的位置为四角的窗)内的全部像素(5×5个像素)的标准偏差，针对上述第1预定大小的窗的11×11个像素，求出它们的标准偏差(11×11个标准偏差)的平均，将该平均用作针对该校正对象像素的对比度相关值CT。

另外，也可以取代标准偏差，而是求出上述第2预定大小的窗内的像素值的最大值MAX与最小值MIN的差(MAX－MIN)，将其在上述第1预定大小的窗内进行平均，从而求出对比度相关值CT。

并且，窗的大小不限定于5×5像素、11×11像素。而且，上述“第1预定大小”和“第2预定大小”也可以是相同大小。

另外，低对比度部分检测单元1的作用是检测图像中的对比度低的部分，通过后述的处理在对比度低的部分增大对比度的增强程度。因此，只要能够使用上述以外的其它指标检测想要增强对比度的部分，就可以使用这样的指标来求出对比度相关值CT。例如，在雾、霾等的恶劣天气条件下拍摄到的图像的情况下，下雾的部分存在不仅亮度分布范围变窄，而且高频成分的量少、亮度级别发亮、彩度下降等的倾向。可以利用该倾向，通过未图示的单元按照每个像素检测以校正对象像素为中心的周边区域的高频成分的量和亮度级别、彩度，使其反映于对比度相关值CT。

具体地，高频成分的量可通过如下方式进行计算：使用以11×11像素的窗内的各像素为中心的3×3像素或5×5像素的拉普拉斯滤波器等检测高频成分，将取滤波器输出的绝对值而得到的值进一步在上述11×11像素的窗内进行积分，其中所述11×11像素的窗以校正对象像素为中心。在该情况下，对比度相关值CT当局部包含许多高频成分时为大值，当是平坦图像时为小值。

并且，周边区域的亮度级别可通过如下方式进行计算：在以校正对象像素为中心的5×5像素的窗内求出窗内的全部像素的亮度的平均值。在该情况下，将亮度信号的最大值的亮度的1/2～3/4左右的亮度级别判断为下雾的部位，对比度相关值CT成为小值。

并且，在使用周边区域的彩度的情况下，在输入图像信号Din由彩色图像的亮度信号Y和色差信号Cb、Cr构成的情况下，可通过如下方式进行计算：使用色差信号Cb、Cr的两个信号根据下式(1)

$Srm=\sqrt{{\mathrm{Cb}}^2+{\mathrm{Cr}}^2}---\left(1\right)$

检测彩度，在以校正对象像素为中心的5×5像素的窗内求出窗内的全部像素的Srm的平均值。在该情况下，对比度相关值CT在周边区域的彩度大的情况下为大值，在周边区域的彩度小的情况下为小值。

然后，增强系数决定单元2根据对比度相关值CT决定每个像素的对比度的增强系数Ken。换言之，增强系数决定单元2根据针对各像素的对比度相关值CT求出针对该像素的增强系数Ken。增强系数Ken例如根据下式(2)作为对比度相关值CT的函数进行计算。

其中，Kmin、Kmax、CTtp是预先设定的值，Kmin表示增强系数的最小值(Kmin≥1)，Kmax表示增强系数的最大值(Kmax≥Kmin)，CTtp表示Ken的变化切换点，在大于CTtp的范围内，Ken固定于Kmin，在CTtp以下时，伴随CT的减少，Ken增加。这些参数可以根据用户的画质设定或图像场景的判别结果从外部进行变更。当对式(2)的增强系数Ken与对比度相关值CT的关系进行图示时，如图2所示。

如图2所示，增强系数Ken具有相对于对比度相关值CT单调递减的特性。即，增强系数决定单元2决定增强系数Ken，使得在对比度相关值CT小的情况下，增强系数Ken变大，在对比度相关值CT大的情况下，增强系数Ken变小。并且，具有对比度相关值CT越小，增强系数Ken的增量越大的特性。另外，只要满足这样的特性，增强系数Ken的计算就可以不必取决于式(2)或图2所示的关系。并且，可以执行式(2)的运算来得到增强系数Ken，然而也可以预先以查阅表(LUT)的形式保持与对比度相关值CT对应的增强系数Ken。在使用这样的LUT的情况下，无需进行式(2)的运算，因而能够实现增强系数决定单元2中的处理的简化。

局部对比度增强单元3生成根据增强系数Ken按照输入图像Din的每个像素增强局部对比度而得到的中间图像D3。换言之，局部对比度增强单元3生成根据针对各像素(校正对象像素)决定的增强系数Ken，针对输入图像Din的该像素(校正对象像素)的值施加对比度增强而得到的中间图像D3。

延迟单元31使输入图像Din延迟与低对比度部分检测单元1和非线性LPF单元32参照校正对象像素的周边区域相关的预定延迟量。

非线性LPF单元32例如在以校正对象像素为中心的11×11像素的窗内，计算窗内的像素值的平均值。此时，如图3所示，在窗内的周边像素的值Ds相对于校正对象像素的值Dc仅偏离阈值TH1以下的情况下，即，当周边像素的值Ds与校正对象像素的值Dc的差的绝对值是阈值TH1以下时，将该像素(周边像素)的值Ds校正成与校正对象像素的值Dc的差是0的像素值(校正像素值)Dst并用于周边像素的平均值的计算。并且，当周边像素的值Ds与校正对象像素的值Dc的差的绝对值是阈值TH2以上时，将该像素的值Ds校正成与校正对象像素的值Dc相差(TH2－TH1)的像素值Dst并用于周边像素的平均值的计算。而且，当周边像素的值Ds与校正对象像素的值Dc的差的绝对值大于阈值TH1且小于阈值TH2时，将该像素的值Ds校正成具有比与校正对象像素Dc的实际差小TH1的差的像素值Dst并用于周边像素的平均值的计算。

以上的处理由下述的式(3)表示。

(3)

其中，TH1、TH2是预先设定的值，

TH1是与用于限制噪声的阈值相当的参数，

TH2是用于调节对比度增强效果的参数(TH1≤TH2)。这些参数可以根据用户的画质设定或图像场景的判别结果从外部进行变更。

由式(3)表示的处理可通过如下方式实现：将Ds－Dc作为输入，进行以TH1为阈值的核化处理，针对核化处理的输出进行以TH2为限制值的限制处理。

因此，非线性LPF单元32可由处理单元、运算单元以及加法单元构成，其中，处理单元针对11×11像素的各个像素进行式(3)的运算，求出校正像素值Dst；运算单元求出针对11×11像素的全部像素的上述校正像素值Dst的平均值；加法单元将求出的平均值与校正对象像素的值Dc相加。

增益决定单元33使用非线性平滑信号D32和延迟图像信号D31以及增强系数Ken，决定用于按照延迟图像的每个像素增强局部对比度的增益G，具体地说，决定使用乘法器34使之与延迟图像信号D31相乘的增益G。

使用图4对增益G的计算方法进行说明。图4是示出将输入到乘法器34的像素值D31设为输入值Sin，将从乘法器34输出的像素值D3设为输出值Sout，如何根据非线性平滑信号D32的值决定它们的关系的图。

在图4中，横轴表示输入值Sin，纵轴表示输出值Sout，由粗的虚线和实线描绘的折线Cv表示非线性平滑信号D32的值位于横轴上的图示位置时的输出值Sout与输入值Sin的关系。划线表示Sout＝Sin的直线，因此，表示连接原点(Sin＝0，Sout＝0)与输入值Sin、输出值Sout都是最大值Smax的点(Sin＝Smax，Sout＝Smax)的直线。

图4中由折线表示的输入输出特性中的实线部分表示输入值Sin位于接近D32的范围即D32－WL≤Sin≤D32+WR的范围(WL、WR是预定值，可以是WL＝WR)时的输入输出特性。该直线部分的斜率是增强系数Ken(≥1)，当Sin＝D32时，与表示Sout＝Sin的划线交叉。即，具有增强系数Ken的斜率的直线部分(实线部分)移动成上述交叉点的横轴方向的位置根据D32的值而改变。

在Sin＜D32－WL的范围内，Sin与Sout的关系由连接原点(Sin＝0，Sout＝0)与点(Sin＝D32－WL，Sout＝D32－Ken×WL)的直线(点线)表示，在Sin＞D32+WR的范围内，Sin与Sout的关系由连接点(Sin＝Smax，Sout＝Smax)与点(Sin＝D32+WR，Sout＝D32+Ken×WR)的直线(点线)表示。

通过按照该输入输出特性校正输入图像的像素值，能够在接近校正对象像素的周边区域的亮度级别的区域内将对比度放大到Ken倍。这里，在折线Cv的斜率Ken的实线部即从D32－WL到D32+WR的范围内，在设乘法器34的输入值为Sin，设输出值为Sout时，Sout可如下式(4)表示。

Sout＝Ken×Sin+(1-Ken)×D32 (4)

另一方面，在Sin＜D32－WL的范围内，存在如下关系：

$Sout=\frac{D32-Ken\×WL}{D32-WL}\×Sin---\left(5\right)$

在Sin＞D32+WR的范围内，存在如下关系：

$Sout=\frac{S\max -(D32+Ken\×WR)}{Smax-(D32+WR)}\×(Sin-S\max )+S\max ---\left(6\right)$

此时，将延迟图像信号D31设为输入值Sin，根据式(4)的关系，计算应与输入值Sin相乘的增益G(Sin位于从D32－WL到D32+WR的范围内时应相乘的增益G)时，如下式(7)所示。

$G=\frac{Sout}{Sin}=Ken+(1-Ken)\×\frac{D32}{D31}---\left(7\right)$

输入值Sin小于D32－WL时的增益G以及输入值Sin大于D32+WR时的增益G也同样分别由式(8)和式(9)表示。

$G=\frac{Sout}{Sin}=\frac{D32-Ken\×WL}{D32-WL}---\left(8\right)$

$G=\frac{Sout}{Sin}=\frac{S\max -(D32+Ken\×WR)}{Smax-(D32+WR)}\×(1-\frac{S\max }{D31})+\frac{Smax}{D31}---\left(9\right)$

增益决定单元33使用非线性平滑信号D32和延迟图像信号D31，根据式(7)、式(8)、式(9)的关系计算增益G。

乘法器34对延迟图像信号D31的每个像素乘以增益G来生成中间图像D3。即，

当D32－WL≤D31≤D32+WR时，根据下述式(10)求出D3，

当D31＜D32－WL时，根据式(11)求出D3，

当D31＞D32+WR时，根据式(12)求出D3。

D3＝G×D31＝Ken×D31+(1-Ken)×D32 (10)

$D3=G\×D31=\frac{D32-Ken\×WL}{D32-WL}\×D31---\left(11\right)$

$D3=G\×D31=\{\frac{S\max -(D32+Ken\×WR)}{S\max -(D32+WR)}\×(1-\frac{S\max }{D31})+\frac{S\max }{D31}\}\×D31---\left(12\right)$

其中的增益决定单元33和乘法器34的组合可视为构成混合单元35，该混合单元35当D31位于从D32－WL到D32+WR的范围内时，按照与增强系数Ken对应的混合比对延迟图像信号D31和非线性平滑信号D32进行混合，生成具有由上述的式(10)表示的值的信号D31。

从式(7)可以看出，当Sin位于从D32－WL到D32+WR的范围内时，从增益决定单元33输出的增益G当延迟图像信号D31小于非线性平滑信号D32时为小值，当延迟图像信号D31大于非线性平滑信号D32时为大值。即，增益被计算成，针对校正对象像素的亮度比周边区域暗的像素的增益变小，针对校正对象像素的亮度比周边区域亮的像素的增益变大。通过乘以该增益来增强与每个像素的周边区域之间的亮度对比(局部对比度)。

这里，非线性LPF单元32求平均值时使用的窗的大小不必限定于11×11像素。当使窗变小时，针对各像素相对于周边的小范围的亮度的对比度提高，可得到频率特性高的对比度感(针对高频成分高的对比度感)。当使窗变大时，针对各像素相对于周边的大范围的亮度的对比度提高，可得到频率特性低的对比度感(针对低频成分高的对比度感)。这样，在局部对比度增强单元3中，通过非线性LPF单元32设定窗的大小，可得到针对特定频率成分的增强效果。

降噪系数生成单元4根据增强系数Ken按照每个像素设定用于由三维降噪单元5进行降噪的降噪系数Knr。换言之，降噪系数生成单元4根据针对各像素(校正对象像素)求出的增强系数Ken，设定针对该像素(校正对象像素)的降噪系数Knr。降噪系数Knr例如根据下式(13)作为增强系数Ken的函数进行计算。

$Knr=k\·\frac{Ken-1}{Ken+1}---\left(13\right)$

其中，k是在满足(0≤k≤1)的范围内预先设定的值(比例常数)，是用于调节图像整体的降噪程度的参数。该参数可以根据用户的画质设定或图像场景的判别结果从外部进行变更。当对式(13)的降噪系数Knr与增强系数Ken的关系进行图示时，如图5所示。

如图5所示，降噪系数生成单元4根据相对于增强系数Ken单调递增的特性生成降噪系数Knr。即，决定降噪系数Knr，使得在增强系数Ken小的情况下，降噪系数Knr变小，在增强系数Ken大的情况下，降噪系数Knr变大。并且，具有增强系数Ken越大，降噪系数Knr的增量越小的特性。另外，只要满足这样的特性，降噪系数Knr的计算就可以不必取决于式(13)或图5所示的关系。并且，可以执行式(13)的运算来得到降噪系数Knr，也可以预先以查阅表(LUT)的形式保持与增强系数Ken对应的降噪系数Knr。在使用这样的LUT的情况下，无需进行式(13)的运算，因而可实现降噪系数生成单元4中的处理的简化。

三维降噪单元5横跨中间图像D3的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的输出图像Dout。也可使用按照每个像素设定的降噪系数Knr来进行该处理。即，三维降噪单元5针对中间图像D3的各像素(校正对象像素)，使用针对该像素(校正对象像素)设定的降噪系数Knr，对噪声成分在时间方向进行平滑，从而生成噪声得到降低的输出图像Dout。

作为其具体结构的一例，三维降噪单元5由减法器51、乘法器52以及减法器53构成，其中，减法器51从中间图像D3中减去存储在帧存储器54内的1帧前的输出图像Dout；乘法器52对减法器51的输出乘以由降噪系数生成单元4生成的降噪系数Knr；减法器53从中间图像D3中减去乘法器52的输出。该结构是公知的帧循环型噪声去除装置的结构，该结构将对三维降噪单元5的输入图像即中间图像D3与1帧前的输出图像Dout(三维降噪单元5的输出图像)的差分乘以循环系数(＝降噪系数Knr)而得到的结果作为噪声成分，将其从中间图像D3中减去，从而去除噪声成分。通过针对按照每1帧依次输入的输入图像反复进行上述处理，能够横跨多个帧在时间方向上对噪声成分进行平滑，去除噪声。使循环系数在0～1之间变化，决定从输入图像中作为噪声成分减去的差分信号的比例。

下面，使用图6来说明本发明的实施方式1的图像处理装置的动作。图6示出本发明的实施方式1的图像处理装置的动作的流程图。首先，低对比度部分检测单元1按照输入图像Din的每个像素计算对比度相关值CT(S1)。然后，增强系数决定单元2根据对比度相关值CT，按照式(2)和图2所示的关系决定每个像素的增强系数Ken(S2)。

然后，局部对比度增强单元3根据已决定的增强系数Ken，生成按照输入图像Din的每个像素增强局部对比度而得到的中间图像D3(S3)。具体地，首先，非线性LPF单元32按照输入图像Din的每个像素，使用按照图3所示的关系进行非线性转换而得到的周边像素的值来进行周边区域的非线性平滑。然后，增益决定单元33根据增强系数Ken，使用非线性平滑信号D32和延迟图像信号D31，按照式(5)所示的关系计算增益G。最后，乘法器34按照每个像素对延迟图像信号D31乘以增益G，生成中间图像D3。

然后，降噪系数生成单元4根据增强系数Ken，按照式(13)和图5所示的关系生成降噪系数Knr(S4)。

然后，三维降噪单元5针对中间图像D3，横跨多个帧使用循环系数Knr对噪声成分进行平滑，从而生成噪声得到降低的输出图像Dout(S5)。具体地，首先，减法器51从中间图像D3中减去存储在帧存储器54内的1帧前的输出图像Dout。针对两个图像的相同像素进行减法。然后，乘法器52对减法器51的输出的每个像素乘以降噪系数Knr。然后，减法器53从中间图像D3中减去乘法器52的输出而得到输出图像Dout。最后，将输出图像Dout存储到帧存储器54，转移到下一帧的处理。

以上是本发明的实施方式1的图像处理装置的动作的说明。

使用图7的(a)～(d)来说明本发明的实施方式1的图像处理装置的效果。图7的(a)～(d)一维表示图像中的被摄体的边缘和与该边缘对应的图像信号，横轴表示像素位置，纵轴表示信号电平。图7的(a)表示没有噪声状态的被摄体的边缘，图7的(b)表示输入图像Din的边缘(有噪声状态)，图7的(c)表示中间图像D3的边缘(增强局部对比度后的状态)，图7的(d)表示输出图像Dout的边缘(降噪后的状态)。

图7的(a)示出没有噪声状态的被摄体的边缘，例如，示出如下雾的图像中的远景的山的棱线等那样边缘的信号的振幅Δd极小的状态。在使用照相机拍摄到这样的被摄体的情况下，随机噪声与实际的信号电平的变化重叠，如图7的(b)所示。这里，假定随机噪声的振幅与边缘的信号的振幅Δd大致相同程度的状态。

图7的(c)表示由局部对比度增强单元3根据增强系数Ken对该边缘的周边区域进行对比度增强后(中间图像D3)的边缘。如上所述，由于局部对比度增强单元3具有图4所示的输入输出特性，因而在忽略非线性LPF单元32中的非线性的情况下，具有将以周边区域的平均级别(D32)为中心的输入图像的对比度成分放大到增强系数Ken倍的效果。因此，在设输入图像Din的边缘的振幅为Δd时，局部对比度增强后的状态的边缘的振幅为Ken×Δd。这里，在非线性LPF单元32中的噪声限制阈值(TH1)是0的情况下，噪声的振幅同时被放大到Ken倍，在输入图像的状态(图7的(a))下不到检测限制的噪声成分在局部对比度增强后的状态(图7的(b))下成为检测限制以上，成为显著的噪声而被视认。另一方面，通过将非线性LPF单元32中的噪声限制阈值(TH1)设定成大于0的值，能够限制TH1以下的振幅的噪声成分，然而在假定图7的(b)所示的输入图像的情况下，为了完全抑制噪声，必须将TH1设定成与Δd大致相同程度的值，在该情况下，导致连边缘的信号也被限制，不能进行信号成分的对比度增强。

因此，在本实施方式1中，由于具有横跨局部对比度增强后的中间图像D3的多个帧在时间方向上对噪声成分进行平滑的三维降噪单元5，因而如图7的(d)所示，不会使表示增强后的被摄体(边缘)的信号的振幅衰减，能够仅减少随机噪声成分。

并且，在局部对比度增强单元3中，具有通过增强特定频率成分(特别是高频)的对比度而使对比度下降部分的边缘显著的效果，在如专利文献3记载的摄像装置那样，通过仅使用1帧的图像去除高频成分来降低噪声的方式中，存在以下情况：对通过局部对比度增强而增强的高频成分产生影响而否定效果，使视认性下降，例如产生边缘部分的模糊等。有雾、霾的图像的课题在于，尽管可得到通过局部对比度增强使雾、霾中的被摄体的边缘显著来去除雾、霾的效果，然而通过降噪而使边缘部分模糊，从而再次看起来像霾。

在本发明的实施方式1中，为了降低伴随局部对比度增强而增强的噪声，具有横跨多个帧在时间方向上对噪声成分进行平滑的三维降噪单元5，从而不会对1帧的图像的频率成分产生影响，即，不会产生通过局部对比度增强而增强的边缘部分的模糊，能够有效地仅降低噪声。由此，在有雾、霾的图像中，能够通过局部对比度增强进行雾、霾的去除，并能够有效地降低伴随于此的噪声。

下面，对在增强系数决定单元2中，根据对比度相关值CT按照式(2)和图2所示的关系决定每个像素的增强系数Ken的效果进行说明。

在本实施方式1的图像处理装置中，使用低对比度部分检测单元1，按照输入图像Din的每个像素检测以校正对象像素为中心的周边区域的对比度相关值CT。对比度相关值CT例如是通过针对周边区域对在图像中的小区域内的像素值的标准偏差进行平均而求出的。因此，图像中对比度相关值CT小的区域意味着是周边区域的亮度分布范围窄的区域，对比度相关值CT大的区域意味着是周边区域的亮度分布范围宽的区域，即，在假定有雾、霾的图像的情况下，对比度相关值CT小的区域可以是指由雾、霾引起的对比度下降大的区域，对比度相关值CT大的区域可以是指由雾、霾引起的对比度下降小的区域。因此，在增强系数决定单元2中，如式(2)和图2所示，通过决定增强系数Ken，使得在对比度相关值CT小的情况下增强系数Ken变大，在对比度相关值CT大的情况下增强系数Ken变小，能够针对图像中的对比度下降的区域，使局部对比度增强单元3中的对比度成分的放大量进一步变大。

并且，由于具有对比度相关值CT越小，增强系数Ken的增量越大的特性，因而与具有本来可视认级别的对比度的区域相比，能够使针对仅具有不可视认级别的对比度的区域(对比度相关值CT大致接近0的区域)的增强系数Ken进一步变大，能够适当改善对比度下降部分的视认性。

另外，增强系数决定单元2计算增强系数Ken可以不必取决于式(2)或图2所示的关系。只要根据相对于对比度相关值CT单调递减的特性决定增强系数Ken即可。即，只要决定增强系数Ken，使得在对比度相关值CT小的情况下，增强系数Ken变大，在对比度相关值CT大的情况下，增强系数Ken变小即可。并且，期望的是，具有对比度相关值CT越小，增强系数Ken的增量越大的特性。只要满足以上的特性，就与使用式(2)或图2所示的关系的情况同样，具有能够适当改善对比度下降部分的视认性的效果。

下面，对在降噪系数生成单元4中，根据增强系数Ken按照式(13)和图5所示的关系生成降噪系数Knr的效果进行说明。

如上所述，局部对比度增强单元3具有将以周边区域的平均级别(D32)为中心的输入图像的对比度成分放大到增强系数Ken倍的效果。因此，考虑到被输入平坦图像重叠有噪声的图像的情况，信号电平不变化，仅噪声成分被放大到Ken倍。即，在增强系数Ken时，SNR(Signal-Noise Ratio，信噪比)劣化10log(Ken)[dB]。另一方面，在三维降噪单元5中，当降噪系数(循环系数)是Knr时，SNR改善量[dB]由下式(14)表示。

在三维降噪单元5中，期望的是，能够将噪声降低由局部对比度增强单元3放大的量。因此，当由局部对比度增强单元3使SNR劣化的量与三维降噪单元5带来的SNR的改善量相等时，导入下式(15)的关系。

$Knr=\frac{Ken-1}{Ken+1}---\left(15\right)$

因此，在式(13)中，当k＝1时，降噪系数生成单元4通过按照式(15)所示的关系生成降噪系数Knr，三维降噪单元5能够将SNR改善由局部对比度增强单元3使SNR劣化的量。由此，仅信号成分的对比度被放大增强系数Ken，随机噪声成分能够维持与输入图像大致同等的级别。而且，由于局部对比度增强单元3中的增强程度根据增强系数Ken按照每个像素而变化，因而有可能在1幅图像内噪声感不均匀，然而由于三维降噪单元5能够按照每个像素调节SNR改善量，因而能够在1幅图像内使噪声感均匀。如以上说明的那样，在降噪系数生成单元4中，根据增强系数Ken按照式(13)和图5所示的关系生成降噪系数Knr，从而能够根据伴随局部对比度增强的噪声放大程度适当地降低噪声。

另外，三维降噪单元5横跨输入图像的多个帧在时间方向上对噪声成分进行平滑来降低噪声，因而在有运动的被摄体中，随着降噪系数Knr变大，甚至运动成分也在时间方向进行平滑，具有产生残像的缺点。根据本发明的实施方式1，在降噪系数生成单元4中，针对增强系数Ken小且噪声未被局部对比度增强单元3放大的部位，将降噪系数Knr设定得较小，因而能够防止不必要地产生残像。并且，通过将式(13)中的k值设定成不到1，能够调节图像整体的降噪效果而减少残像。

而且，也可以通过新设置按照输入图像的每个像素检测被摄体的运动的运动检测单元(未图示)、和生成对于有运动的像素来说为小值且对于没有运动的像素来说为大值的系数k的系数生成单元(未图示)，构成运动自适应型三维降噪单元。在该情况下，通过构成为将式(13)中的k按照每个像素设为可变值，根据每个像素的运动检测结果决定k，从而能够降低有运动部分的残像。

另外，降噪系数生成单元4计算降噪系数Knr可以不必取决于式(13)或图5所示的关系。只要根据相对于增强系数Ken单调递增的特性生成降噪系数Knr即可。即，只要决定降噪系数Knr，使得在增强系数Ken小的情况下，降噪系数Knr变小，在增强系数Ken大的情况下，降噪系数Knr变大。并且，期望的是，具有增强系数Ken越大，降噪系数Knr的增量越小的特性。这是因为，由式(14)表示的SNR改善量随着Knr变大而急剧增加。只要满足以上的特性，就与使用式(13)或图5所示的关系的情况同样，具有能够根据伴随局部对比度增强的噪声放大程度适当降低噪声的效果。

并且，三维降噪单元5的结构可以不必是帧循环型。只要具有横跨输入图像的多个帧在时间方向上对噪声成分进行平滑的结构，而且是能够使用降噪系数Knr控制平滑程度的结构即可。例如，可以是具有多个帧的帧存储器，通过在时间方向取加法平均来降低噪声的三维降噪单元，设置根据降噪系数Knr按照每个像素控制帧加法幅数的帧加法单元(未图示)。使用这样的结构能够得到相同的效果。

实施方式2

图8是示出本发明的实施方式2的图像处理装置的结构的框图。本实施方式2的图像处理装置与实施方式1不同，具有在低对比度部分检测单元和局部对比度增强单元的前级设有三维降噪单元的结构。

本实施方式2的图像处理装置具有三维降噪单元105、低对比度部分检测单元101、增强系数决定单元102、局部对比度增强单元103、降噪系数生成单元104以及帧存储器106。

三维降噪单元105具有与实施方式1的三维降噪单元5相同的结构，然而取代中间图像D3将输入图像Din作为输入，横跨输入图像Din的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的中间图像D105。

中间图像D105需要具有充分的比特精度，使得不会由于后级的局部对比度增强单元103而发生灰度跳跃。

低对比度部分检测单元101具有与实施方式1的低对比度部分检测单元1相同的结构，然而取代输入图像Din，将中间图像D105作为输入，按照中间图像D105的每个像素检测以校正对象像素为中心的周边区域的对比度相关值CT。

增强系数决定单元102具有与实施方式1的增强系数决定单元2相同的结构，根据由低对比度部分检测单元102检测到的对比度相关值CT决定每个像素的对比度的增强系数Ken。

局部对比度增强单元103具有与实施方式1的局部对比度增强单元3相同的结构，然而取代输入图像Din将中间图像D105作为输入，生成根据由增强系数决定单元102决定的增强系数Ken按照中间图像D105的每个像素增强局部对比度而得到的输出图像Dout。

降噪系数生成单元104具有与实施方式1的降噪系数生成单元4相同的结构，根据由增强系数决定单元102决定的增强系数Ken设定用于由三维降噪单元105进行降噪的降噪系数Knr。

以上各单元的内部结构与实施方式1相同，因而省略其详细说明。

帧存储器106存储1帧量的由降噪系数生成单元104生成的针对各像素的降噪系数Knr。

在对下一帧的各像素进行处理时，由三维降噪单元105使用存储在帧存储器106内的降噪系数Knr。

下面，使用图9来说明本发明的实施方式2的图像处理装置的动作。图9示出本发明的实施方式2的图像处理装置的动作的流程图。本实施方式2的图像处理装置的动作与实施方式1的不同点在于，最初由三维降噪单元105对输入图像Din进行降噪。

首先，三维降噪单元105针对输入图像Din，横跨多个帧使用循环系数Knr对噪声成分进行平滑，由此生成噪声得到降低的中间图像D105(S105)。

然后，低对比度部分检测单元101按照中间图像D105的每个像素计算对比度相关值CT(S101)。

然后，增强系数决定单元102根据对比度相关值CT，按照式(2)和图2所示的关系决定每个像素的增强系数Ken(S102)。

然后，局部对比度增强单元103根据已决定的增强系数Ken，按照中间图像D105的每个像素生成增强局部对比度而得到的输出图像Dout(S103)。

然后，降噪系数生成单元104根据增强系数Ken，按照式(13)和图5所示的关系生成降噪系数Knr(S104)。

最后，将降噪系数Knr存储到帧存储器106，转移到下一帧的处理。

各步骤中的动作的详情与实施方式1相同，因而省略其详细说明。

由于在步骤S102中决定增强系数Ken后在步骤S104中生成降噪系数，因而在步骤S105中，使用从帧存储器106读出的1帧前的降噪系数Knr来进行三维降噪。因此，在步骤S104中生成降噪系数Knr后，在步骤S106中当前帧的每个像素的降噪系数Knr被存储到帧存储器106。

下面，使用图10的(a)～(e)来说明本发明的实施方式2的图像处理装置的效果。图10的(a)～(e)与图7的(a)～(d)同样，一维表示图像中的被摄体的边缘和与该边缘对应的图像信号，横轴表示像素位置，纵轴表示信号电平。图10的(a)表示没有噪声状态的被摄体的边缘，图10的(b)表示输入图像Din的边缘(有噪声状态)，图10的(c)表示中间图像D105的边缘(降噪后的状态)，图10的(d)和(e)表示输出图像Dout的边缘(局部对比度增强后的状态)。

与图7的(a)～(d)同样，设边缘的信号的振幅为Δd，假定图10的(b)所示的随机噪声的振幅与边缘的信号的振幅Δd大致相同程度的输入图像Din。图10的(c)表示由三维降噪单元105对输入图像Din进行降噪后的中间图像D105的边缘。由于横跨输入图像Din的多个帧在时间方向上对噪声成分进行平滑，因而不会使被摄体(边缘)的信号的振幅衰减，能够仅减少随机噪声成分。

然后，图10的(d)和(e)表示局部对比度增强单元103根据增强系数Ken对中间图像D105进行对比度增强后的输出图像Dout的边缘。图10的(d)示出非线性LPF单元132中的噪声限制阈值(TH1)是0的情况，图10的(e)示出非线性LPF单元132中的噪声限制阈值(TH1)是大于0且小于Δd的值的情况。

在非线性LPF单元132中的噪声限制阈值(TH1)是0的情况下，如上所述，可近似于局部对比度增强单元103将以周边区域的平均级别(D32)为中心的输入图像的对比度成分放大到增强系数Ken倍的处理，因而边缘的振幅成为Ken×Δd，视认性提高。这里，噪声成分也同样被放大到Ken倍，然而，由于对事先降低与从输入图像Din(图10的(b))根据增强系数Ken放大对应的噪声后的图像(图10的(c))进行局部对比度增强，因而能够将输出图像Dout(图10的(d))的噪声抑制到输入图像Din的级别。

另一方面，通过对输入图像Din(图10的(b))先进行降噪，在中间图像D105(图10的(c))中边缘的信号的振幅与噪声成分的振幅产生差。在图10的(b)的状态下，由于边缘的信号的振幅与噪声的振幅大致相同程度，因而在非线性LPF单元132中不能设定适当的噪声限制阈值(TH1)。然而，在进行了降噪的图10的(c)的状态下，通过将非线性LPF单元132中的噪声限制阈值(TH1)设定成大于0且小于Δd的值，能够将边缘的信号与噪声成分分离，局部对比度增强单元103能够抑制噪声而仅放大边缘的信号的对比度(图10的(e))。

因此，本发明的实施方式2的图像处理装置不仅具有与实施方式1相同的效果，而且作为实施方式2的附属效果，如以上说明的那样，能够通过降噪将被摄体的信号和噪声信号分离，通过对比度增强使以往埋入噪声而不能被增强的微弱的被摄体信号显著。并且，由于噪声得到降低的中间图像D105还被输入到低对比度部分检测单元101，因而还具有使增强系数Ken或降噪系数Knr难以受到输入图像Din的噪声影响的效果。

实施方式3

图11是示出本发明的实施方式3的图像处理装置的结构的框图。本实施方式3的图像处理装置与实施方式1不同，低对比度部分的检测以及增强系数Ken、增益G和降噪系数Knr的决定是根据表示图像的亮度成分的亮度信号Yin(第1图像信号)进行的，使用已决定的增益G的局部对比度增强和使用已决定的降噪系数Knr的降噪是针对相同图像的红(R)、绿(G)、蓝(B)的颜色成分的颜色图像信号(第2图像信号)Rin、Gin、Bin进行的。

图11的图像处理装置具有低对比度部分检测单元201、增强系数决定单元202、局部对比度增强单元203、降噪系数生成单元204以及三维降噪单元5R、5G、5B。

低对比度部分检测单元201具有与图1的低对比度部分检测单元1相同的结构，然而作为输入图像Din而接收亮度图像Yin，按照亮度图像Yin的每个像素检测以校正对象像素为中心的周边区域的对比度相关值CT。

增强系数决定单元202根据由低对比度部分检测单元201检测到的对比度相关值CT决定每个像素的对比度的增强系数Ken。

局部对比度增强单元203生成根据由增强系数决定单元202决定的增强系数Ken，按照红、绿、蓝的输入图像Rin、Gin、Bin的每个像素，增强局部对比度而得到的中间图像D3R、D3G、D3B。

局部对比度增强单元203具有延迟单元231、非线性LPF单元232以及增益决定单元233。

它们具有与图1所示的延迟单元31、非线性LPF单元32以及增益决定单元33相同的结构，针对作为输入图像Din输入的亮度图像Yin进行与在实施方式1中说明的相同的处理。

由延迟单元231、非线性LPF单元232以及增益决定单元233构成根据亮度图像Yin生成增益的增益生成单元236。

局部对比度增强单元203还具有延迟单元31R、31G、31B。

延迟单元31R、31G、31B具有与延迟单元231相同的结构，然而分别接收红、绿、蓝的输入图像Rin、Gin、Bin，输出延迟与延迟单元231相同的延迟时间后的信号(延迟图像信号)D31R、D31G、D31B。

乘法器34R、34G、34B按照每个像素对来自延迟单元31R、31G、31B的延迟图像信号D31R、D31G、D31B乘以增益G，生成中间图像D3R、D3G、D3B。

降噪系数生成单元204根据由增强系数决定单元202决定的增强系数Ken，设定用于由三维降噪单元5R、5G、5B进行降噪的降噪系数(NR系数)Knr。

三维降噪单元5R、5G、5B分别具有与图1的三维降噪单元5相同的结构，然而取代中间图像D3，分别将红色、绿色、蓝色的中间图像D3R、D3G、D3B作为输入，进行对它们的处理。

即，三维降噪单元5R横跨红色的中间图像D3R的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的红色输出图像Rout。

三维降噪单元5G横跨绿色的中间图像D3G的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的绿色输出图像Gout。

三维降噪单元5B横跨蓝色的中间图像D3B的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的蓝色输出图像Bout。

如上所述，根据实施方式3，除了可得到与实施方式1相同的效果以外，由于使用根据亮度图像决定的增益G和降噪系数Knr对全部颜色的图像进行对比度增强和降噪，因而能够实现图像的改善而不会损害颜色平衡。

实施方式4

图12是示出本发明的实施方式4的图像处理装置的结构的框图。本实施方式4的图像处理装置与实施方式3同样，低对比度部分的检测以及增强系数Ken、增益G和降噪系数Knr的决定是根据亮度图像进行的，使用已决定的增益G的局部对比度增强和使用降噪系数Knr的降噪是针对红(R)、绿(G)、蓝(B)的颜色图像进行的。实施方式4的图像处理装置与实施方式2同样，在低对比度部分检测单元和局部对比度增强单元的前级设有三维降噪单元。

图12的图像处理装置具有三维降噪单元105R、105G、105B、低对比度部分检测单元301、增强系数决定单元302、局部对比度增强单元303、降噪系数生成单元304、帧存储器306以及亮度图像生成单元307。

三维降噪单元105R、105G、105B分别具有与图8的三维降噪单元105相同的结构，然而分别将红色、绿色、蓝色的输入图像Rin、Gin、Bin作为输入，进行对它们的处理。

即，三维降噪单元105R横跨红色的输入图像Rin的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的红色中间图像D105R。

三维降噪单元105G横跨绿色的输入图像Gin的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的绿色中间图像D105G。

三维降噪单元105B横跨蓝色的输入图像Bin的多个帧在时间方向上对噪声成分进行平滑，由此生成噪声得到降低的蓝色中间图像D105B。

亮度图像生成单元307将中间图像D105R、D105G、D105B作为输入，例如通过由D307＝α×D105R+β×D105G+γ×D105B表示的运算生成亮度中间图像D307。

其中，α+β+γ＝1，例如，使用α＝1/4、β＝1/2、γ＝1/4。或者，为了更准确的计算，可以使用α＝0.299、β＝0.587、γ＝0.114。

低对比度部分检测单元301具有与图8的低对比度部分检测单元101相同的结构，然而取代中间图像D105而接收亮度图像D307，按照亮度图像D307的每个像素检测以校正对象像素为中心的周边区域的对比度相关值CT。

增强系数决定单元302根据由低对比度部分检测单元301检测到的对比度相关值CT决定每个像素的对比度的增强系数Ken。

局部对比度增强单元303具有与图11的低对比度部分检测单元203相同的结构，然而取代输入图像Rin、Gin、Bin而接收颜色中间图像D105R、D105G、D105B，生成根据由增强系数决定单元302决定的增强系数Ken按照中间图像D105R、D105G、D105B的每个像素增强局部对比度而得到的输出图像Rout、Gout、Bout。

局部对比度增强单元303具有延迟单元331、非线性LPF单元332以及增益决定单元333。

它们具有与图8所示的延迟单元131、非线性LPF单元132以及增益决定单元133相同的结构，然而取代中间图像D105而将亮度图像D307作为输入，进行与对亮度图像D307进行处理的实施方式2中说明的相同的处理。

由延迟单元331、非线性LPF单元332以及增益决定单元333构成根据亮度图像D307生成增益的增益生成单元336。

局部对比度增强单元303还具有延迟单元131R、131G、131B。

延迟单元131R、131G、131B具有与延迟单元331相同的结构，然而分别接收红、绿、蓝的中间图像D105R、D105G、D105B，输出延迟与延迟单元331相同的延迟时间后的信号D131R、D131G、D131B。

乘法器134R、134G、134B按照每个像素对来自延迟单元131R、131G、131B的延迟图像信号D131R、D131G、D131B乘以增益G，生成输出图像Rout、Gout、Bout。

降噪系数生成单元304根据由增强系数决定单元302决定的增强系数Ken，设定用于由三维降噪单元105R、105G、105B进行降噪的降噪系数(NR系数)Knr。

帧存储器306存储1帧量的由降噪系数生成单元304生成的针对各像素的降噪系数Knr。

在对下一帧的各像素进行处理时，由三维降噪单元105R、105G、105B使用存储在帧存储器306内的降噪系数Knr。

另外，也可以取代从颜色信号Rin、Gin、Bin得到的亮度信号D307，使用通过别的方法生成的亮度信号。例如，在从亮度信号Yin和色差信号Cbin、Crin得到颜色信号Rin、Gin、Bin的情况下，可以由低对比度部分检测单元301、增益生成单元336使用原始的亮度信号Yin。

如上所述，根据实施方式4，除了可得到与实施方式2相同的效果以外，由于使用根据亮度图像决定的增益G和降噪系数Knr对全部颜色的图像进行对比度增强和降噪，因而能够实现图像的改善而不会损害颜色平衡。

如上所述，在实施方式3、4中，低对比度部分的检测以及增强系数Ken、增益G和降噪系数Knr的决定是根据表示图像的亮度成分(第1成分)的亮度信号Yin(第1图像信号)进行的，使用已决定的增益G的局部对比度增强和使用降噪系数Knr的降噪是针对表示相同图像的红(R)、绿(G)、蓝(B)的颜色成分(分别可以称作“第2成分”)的颜色信号(分别可以称作“第2图像信号”)Rin、Gin、Bin进行的。在输入图像信号由亮度信号和色差信号Cb、Cr构成的情况下，低对比度部分的检测以及增强系数Ken、增益G和降噪系数Knr的决定可以根据亮度信号Y(第1图像信号)进行，使用已决定的增益G的局部对比度增强和使用降噪系数Knr的降噪可以针对该亮度信号Y以及相同图像的色差信号Cb、Cr(分别可以称作“第2图像信号”)进行。一般来说，低对比度部分的检测以及增强系数Ken、增益G和降噪系数Knr的决定可以根据表示图像的第1成分的第1图像信号进行，使用已决定的增益G的局部对比度增强和使用降噪系数Knr的降噪可以针对表示相同图像的第2成分的第2图像信号进行。换言之，用于决定增强系数Ken、增益G和降噪系数Knr的图像乃至图像信号(第1图像信号)与成为使用已决定的增益G和降噪系数Knr的局部对比度增强和三维降噪的对象的图像乃至图像信号(第2图像信号)可以不同。

并且，三维降噪单元可以如实施方式1、3那样，配置在局部对比度增强单元(3、203)的后级，也可以如实施方式2、4那样配置在局部对比度增强单元(103、303)的前级。在配置于后级的情况下，被输入到三维降噪单元(5、5R、5G、5B)的图像信号(第3图像信号)是表示受到局部对比度增强单元(3、203)的对比度增强后的图像的信号。

在三维降噪单元配置于局部对比度增强单元的后级的情况下，被输入到局部对比度增强单元(3、203)的图像信号(第2图像信号)可以如实施方式1那样与第1图像信号(Din)相同，也可以如第3实施方式那样是与第1图像信号(Yin)不同的图像信号(Rin、Gin、Bin)。

在三维降噪单元配置于局部对比度增强单元的前级的情况下，表示由三维降噪单元(105、105R、105G、105B)降噪后的图像的信号作为第1图像信号被输入到增强系数决定单元(102、302)。在该情况下，被输入到局部对比度增强单元(103、303)的图像信号(第2图像信号)可以如实施方式2那样与第1图像信号(D105)相同，也可以如第4实施方式那样，是与第1图像信号(D307)不同的图像信号(D105R、D105G、D105B)。

在实施方式1～4中，“…单元”可以是通过电路执行某功能的单元、或者通过利用软件的结构执行某功能的单元中的任意一方。并且，将本发明作为图像处理装置作了说明，然而由图像处理装置执行的图像处理方法也构成本发明的一部分。而且，用于作为图像处理装置的各单元发挥功能的程序或者用于使计算机执行图像处理方法的各步骤的处理的程序、以及记录有该计算机程序的计算机可读取的记录介质也构成本发明的一部分。

标号说明

1、105、205、305：低对比度部分检测单元；2、102、202、302：增强系数决定单元；3、103、203、303：局部对比度增强单元；31、31R、31G、31B、131、131R、131G、131B、231、331：延迟单元；32、132、232、332：非线性LPF单元；33、133、233、333：增益决定单元；34、34R、34G、34B、134、134R、134G、134B：乘法器；4、104：降噪系数生成单元；5、5R、5G、5B、105、105R、105G、105B：三维降噪单元；51、151：加法器；52、152：乘法器；53、153：减法器；54、154：帧存储器；106：帧存储器；S1、S101：低对比度部分检测步骤；S2、S102：增强系数决定步骤；S3、S103：局部对比度增强步骤；S4、S104：降噪系数生成步骤；S5、S105：三维降噪步骤；S106：帧存储器存储步骤。

Claims (9)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：

低对比度部分检测单元，其将输入图像的各像素作为校正对象像素，检测所述输入图像的该校正对象像素的周边区域的对比度相关值；

增强系数决定单元，其根据由所述低对比度部分检测单元检测到的所述对比度相关值，决定针对该校正对象像素的对比度的增强系数；

局部对比度增强单元，其根据由所述增强系数决定单元决定的所述增强系数，增强所述输入图像的该校正对象像素的局部区域的对比度，输出局部对比度增强图像；

降噪系数生成单元，其针对由所述增强系数决定单元决定的所述增强系数，生成随着该增强系数变大而变大的降噪系数；以及

三维降噪单元，其配置在所述低对比度部分检测单元和所述局部对比度增强单元的前级或者后级，横跨多个帧在时间方向上对所述输入图像或者所述局部对比度增强图像进行平滑，由此进行该校正对象像素的噪声成分的降噪，

所述三维降噪单元根据由所述降噪系数生成单元生成的降噪系数控制针对该校正对象像素的降噪程度。

2.根据权利要求1所述的图像处理装置，其特征在于，所述降噪系数生成单元决定所述降噪系数，使得所述局部对比度增强单元中的与所述增强系数对应的SNR劣化量和所述三维降噪单元中的与所述降噪系数对应的SNR改善量对应。

3.根据权利要求1所述的图像处理装置，其特征在于，所述降噪系数生成单元根据在所述增强系数小的情况下所述降噪系数变小，在所述增强系数大的情况下所述降噪系数变大，而且所述降噪系数的增量随着所述增强系数变大而变小的特性，生成所述降噪系数。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述三维降噪单元具有：

帧存储器，其存储至少1帧从该三维降噪单元输出的图像信号；

第1减法器，其从输入至该三维降噪单元的输入图像中减去存储在所述帧存储器内的在一帧前输出的图像信号；

系数乘法器，其对所述第1减法器的输出乘以由所述降噪系数生成单元生成的所述降噪系数；以及

第2减法器，其从输入至该三维降噪单元的输入图像中减去所述系数乘法器的输出，

所述三维降噪单元将所述第2减法器的输出作为从所述三维降噪单元输出的所述图像信号。

5.根据权利要求4所述的图像处理装置，其特征在于，在设所述增强系数为Ken，设所述降噪系数为Knr，设任意的比例常数为k时，所述降噪系数生成单元生成满足由下式

$Knr=k\·\frac{Ken-1}{Ken+1}$

表示的关系的所述降噪系数。

6.根据权利要求1所述的图像处理装置，其特征在于，所述增强系数决定单元根据在所述对比度相关值小的情况下所述增强系数变大，在所述对比度相关值大的情况下所述增强系数变小，而且所述增强系数的增量随着所述对比度相关值变小而变大的特性，决定所述增强系数。

7.根据权利要求1所述的图像处理装置，其特征在于，在设所述对比度相关值为CT，设所述增强系数为Ken，设所述增强系数的最大值为Kmax，设所述增强系数的最小值为Kmin，设所述增强系数的变化切换点处的所述对比度相关值为CTtp时，所述增强系数决定单元决定所述增强系数，使得满足下式

的关系。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述局部对比度增强单元具有：

非线性LPF单元，其使用根据所述输入图像的所述校正对象像素的值与位于该校正对象像素周边的像素的值之间的差分对所述位于周边的像素的值进行非线性转换而得到的值，对所述校正对象像素和位于其周边的像素进行平滑，输出该平滑结果作为针对该校正对象像素的非线性平滑结果；

增益决定单元，其使用所述非线性LPF单元的输出和所述输入图像的所述校正对象像素的值以及所述增强系数，决定输入到该局部对比度增强单元的增益；以及

增益乘法器，其对所述输入图像的所述校正对象像素的值乘以所述增益。

9.一种图像处理方法，其特征在于，所述图像处理方法具有：

低对比度部分检测步骤，将输入图像的各像素作为校正对象像素，检测所述输入图像的该校正对象像素的周边区域的对比度相关值；

增强系数决定步骤，根据由所述低对比度部分检测步骤检测到的所述对比度相关值，决定针对该校正对象像素的对比度的增强系数；

局部对比度增强步骤，根据由所述增强系数决定步骤决定的所述增强系数，增强所述输入图像的所述校正对象像素的局部区域的对比度，输出局部对比度增强图像；

降噪系数生成步骤，针对由所述增强系数决定步骤决定的所述增强系数，生成随着该增强系数变大而变大的降噪系数；以及

三维降噪步骤，在所述低对比度部分检测步骤和所述局部对比度增强步骤之前或者之后，横跨多个帧在时间方向上对所述输入图像或者所述局部对比度增强图像进行平滑，由此进行该校正对象像素的噪声成分的降噪，

所述三维降噪步骤根据由所述降噪系数生成步骤生成的降噪系数，控制针对该校正对象像素的降噪程度。