CN101238485B

CN101238485B - 图像处理装置

Info

Publication number: CN101238485B
Application number: CN2006800285777A
Authority: CN
Inventors: 堀江原
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-08-03
Filing date: 2006-07-27
Publication date: 2011-05-04
Anticipated expiration: 2026-07-27
Also published as: US20080175511A1; US8041138B2; JP2007041834A; JP4869653B2; CN101238485A; WO2007015535A1; EP1912173A1

Abstract

本发明提供一种图像处理装置，经由透镜系统(100)和CCD(101)所摄影的图像在A/D(102)中被转换成数字信号，并被存储在缓冲器(103)内。缓冲器(103)的输出依次经由降噪处理部(104)、边缘强调处理部(107)和信号处理部(105)与输出部(106)连接。降噪处理部(104)将从缓冲器(103)所读出的图像信号分解成多个频率分量，对所分解的各分量实施转换处理，之后进行再合成，降低噪音。

Description

图像处理装置

技术领域

本发明涉及将处理对象图像分解成多个频率分量、并对所分解的频率分量进行降噪等图像处理的图像处理装置。

背景技术

在图像处理装置中，为了防止图像劣化而进行降噪等处理。例如如日本特开2000-69291号公报所示，根据图像输入介质的噪音特性，变更平滑化滤波器的尺寸，对图像进行了平滑化处理。由此，防止图像劣化，实现了处理的高速化。

然而，上述日本特开2000-69291号公报记载的现有技术具有如下问题。(1)由于根据图像输入介质的噪音特性改变平滑化处理的特性，因而不能应对以下情况，即：对应于输出介质和后处理装置的频率特性的变化，改变转换处理的频率特性。(2)根据噪音特性，变更平滑化滤波器的尺寸，对图像进行了平滑化处理。因此，不能应对多个滤波器。

发明内容

本发明是鉴于现有技术的上述问题而作成的，本发明的目的是解决上述(1)、(2)的问题，提供能应对后处理装置的频率特性的变化、并能同时实现适当的降噪和图像细部的保持的图像处理装置。

(1)为了达到上述目的，本发明的第1实施方式的图像处理装置的特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将上述低频分量和上述转换处理后的高频分量进行合成；频率特性设定单元，其设定输出信号所要求的频率特性；频率特性调整单元，其对上述频率合成单元的输出信号进一步进行转换处理，将输出信号的频率特性调整成由上述频率特性设定单元所设定的频率特性；以及频率分割特性设定单元，其根据在频率特性设定单元中所设定的频率特性，设定频率分割单元中的分割特性。

(1)的发明相关的实施方式对应于图1～图10所示的第1实施方式。在(1)的发明的结构中，频率分割单元对应于图2所示的低频抽出部200和高频抽出部201。频率分量转换单元对应于图2所示的高频转换部202。频率合成单元对应于图2所示的合成部209。频率特性设定单元对应于图1、图2所示的边缘强调参数设定部108。频率特性调整单元对应于图1、图2所示的边缘强调处理部107。频率分割特性设定单元对应于图2所示的LPF滤波器系数设定部222和HPF滤波器系数设定部221。

在(1)的发明中，频率分割特性设定单元根据由频率特性设定单元所设定的频率特性来设定频率分割特性。根据频率特性调整单元中的频率特性的调整，变更频率分割单元中的频率分割方法。根据该结构，即使进行任意的频率特性调整，也能防止对特定的频率分量进行无意的调整，因而可防止产生伪像。

(2)发明的特征在于，上述(1)的发明的上述频率特性调整单元包括：规定频率分量抽出单元，其从上述频率合成单元的输出信号中抽出规定的频率分量；规定频率分量强调单元，其对由上述规定频率分量抽出单元所抽出的上述规定的频率分量进行规定的强调处理；以及规定频率分量合成单元，其将由上述规定频率分量强调单元进行了上述规定的强调处理后的上述规定的频率分量和上述频率合成单元的输出信号进行合成。

(2)的发明相关的实施方式对应于图2所示的第1实施方式。在(2)的发明的结构中，规定频率分量抽出单元对应于边缘抽出部211，规定频率分量强调单元对应于边缘强调部212，规定频率分量合成单元对应于边缘加法部213。(2)的发明将由规定频率分量强调单元进行了改变强调系数那样的规定的强调处理后的规定的频率分量和(1)的发明的频率合成单元的输出信号、即低频分量在规定频率分量合成单元进行合成。根据该结构，得到进行了清晰感调整且边缘强调后的图像信号。

(3)的发明的特征在于，在上述(1)的发明中，上述频率特性调整单元还具有低频分量抽出单元，该低频分量抽出单元从上述频率合成单元的输出信号中抽出规定的低频分量，上述规定频率分量合成单元将由上述规定频率分量强调单元进行了上述规定的强调处理后的上述规定的频率分量和上述规定的低频分量进行合成。

(3)的发明相关的实施方式对应于图2所示的第1实施方式。在(3)的发明的结构中，低频分量抽出单元对应于像素内插部210。(3)的发明使用低频分量抽出单元生成处理块的区域中心的G像素，将其与在(2)的发明中进行了规定的强调处理后的规定的频率分量在规定频率分量合成单元进行合成。根据该结构，通过对边缘分量进行转换处理并与低频分量相加混合，可调整图像信号的清晰感。

(4)的发明的特征在于，上述(1)的发明的上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

(4)的发明相关的实施方式对应于图2所示的第1实施方式。在(4)的发明的结构中，高频分量转换单元具有：强调或抑制规定的高频分量中的具有规定范围的要素的高频分量抑制单元，以及设定用于决定规定范围的至少一个阈值的阈值设定单元，这对应于进行图10的特性处理。根据该结构，例如，通过消除45度倾斜高频分量、135度倾斜高频分量、水平垂直高频分量、剩余高频分量那样的各高频分量中的比阈值小的振幅分量，可降低噪音。

(5)的发明的特征在于，在上述(1)的发明中，上述频率特性设定单元设定用于构成上述规定频率分量抽出单元的规定频率抽出滤波器的系数、或者上述规定的强调处理的强调量、或者其双方。

(5)的发明相关的实施方式对应于图2所示的第1实施方式。在(5)的发明的结构中，规定频率抽出滤波器的系数设定对应于BPF滤波器系数设定部231，规定的强调处理的强调量设定对应于强调量设定部232。根据该结构，在根据清晰感的调整而变更了边缘强调处理带通滤波器的频率特性的情况下，也变更降噪处理的低频抽出滤波器的频率特性。这样通过变更频率特性，使降噪处理的低频抽出滤波器的频率特性和边缘强调处理的带通滤波器的频率特性重合部分减少，可防止由于强调残留的噪音分量而引起的画质劣化。

(6)的发明的特征在于，上述(1)的发明的上述频率分割特性设定单元设定用于构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。

(6)的发明相关的实施方式对应于图2所示的第1实施方式。作为频率分割特性设定单元的LPF滤波器系数设定部222设定图5或图6所示的低频抽出滤波器的系数。并且，作为频率分割特性设定单元的HPF滤波器系数设定部221设定图4所示的高频抽出滤波器(H1～H12)和图7或图8所示的剩余高频抽出滤波器的系数。根据该结构，通过对由规定系数的高频抽出滤波器所抽出的各高频分量进行转换处理，可降低各高频分量内包含的噪音。

(7)本发明的第2实施方式的图像处理装置的特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将上述低频分量和转换处理后的高频分量进行合成；噪音特性估计单元，其估计上述输入信号的噪音特性；以及频率分割特性设定单元，其根据上述噪音特性估计单元中的估计结果设定频率分割单元中的分割特性。

(7)的发明相关的实施方式对应于图11～图24所示的第2和第3实施方式。(7)的发明中的以下结构如图12所示。频率分割单元对应于低频抽出部200、高频抽出部201、第二低频抽出部410以及第二高频抽出部411。频率分量转换单元对应于高频转换部202、高频阈值计算部451、第二高频转换部412以及第二高频阈值计算部452。频率合成单元对应于合成部209和第二合成部409。噪音特性估计单元对应于灵敏度设定部404。频率分割特性设定单元对应于信号选择部403。另外，频率分割特性设定单元对应于取代图12的信号选择部403的结构的图18的加权加法部500。

在(7)的发明中，频率分割特性设定单元根据由噪音特性估计单元所估计的噪音特性来设定频率分割特性。根据噪音特性，变更频率分割单元中的频率分割方法。根据该结构，可防止根据噪音量对特定的频率分量进行无意的调整，因而可防止产生伪像。

(8)的发明的特征在于，(7)的发明的上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

(8)的发明相关的实施方式对应于图12所示的第2实施方式。具有高频分量抑制单元和阈值设定单元的高频分量转换单元对应于进行高频阈值计算部451和第二高频阈值计算部452的图10的处理的处理单元，该高频分量抑制单元强调或抑制规定的高频分量中的具有规定范围的要素，该阈值设定单元设定用于决定规定范围的至少一个阈值。根据该结构，通过消除水平方向、垂直方向、倾斜方向的各方向的各高频分量中的比阈值小的振幅分量，可降低噪音。

(9)的发明的特征在于，(7)的发明的噪音特性估计单元包括噪音量估计单元，该噪音量估计单元根据摄像元件的温度或者针对输入信号的增益或者摄影时的快门速度中的至少一个信息来估计上述输入信号内包含的噪音量。

(9)的发明相关的实施方式对应于图12～图15所示的第2实施方式。图13所示的边缘方向自适应降噪处理部401的高频阈值计算部451、以及图15所示的边缘方向非自适应降噪处理部402的第二高频阈值计算部452分别具有噪音量估计单元806，该噪音量估计单元806根据摄像元件的温度或者针对上述输入信号的增益或者摄影时的快门速度中的至少一个信息来估计上述输入信号内包含的噪音量。根据该结构，通过根据摄影灵敏度控制降噪处理，在摄影灵敏度低的情况下，可将图像信号内包含的本来结构与噪音分量分离，有效地进行降噪，同时实现清晰感的提高和降噪。并且，在摄影灵敏度高的情况下，可防止产生伪像。

(10)的发明的特征在于，(7)的发明的噪音特性估计单元还具有增益计算单元，该增益计算单元根据ISO灵敏度、曝光信息、以及白平衡信息中的至少一个以上的信息求出上述增益。

(10)的发明相关的实施方式对应于图12～图15所示的第2实施方式。图13所示的边缘方向自适应降噪处理部401的高频阈值计算部451、以及图15所示的边缘方向非自适应降噪处理部402的第二高频阈值计算部452分别设置有噪音量估计单元806，该噪音量估计单元806还具有增益计算单元，该增益计算单元根据ISO灵敏度、曝光信息、以及白平衡信息中的至少一个以上的信息求出上述增益。根据该结构，通过根据摄影灵敏度控制降噪处理，在摄影灵敏度低的情况下，将图像信号内包含的本来结构与噪音分量分离，有效地进行降噪，可同时实现清晰感的提高和降噪。并且，在摄影灵敏度高的情况下，可防止产生伪像。

(11)的发明的特征在于，(7)的发明的上述频率分割特性设定单元设定用于构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。

(11)的发明相关的实施方式对应于图19所示的第3实施方式。构成频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数由滤波器系数设定部220设定。根据该结构，通过变更设定在各高频分量内的抽出滤波器系数，可进行边缘方向自适应降噪处理和边缘方向非自适应降噪处理的切换。

(12)本发明的第4实施方式的图像处理装置的特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将低频分量和转换处理后的高频分量进行合成；频率特性估计单元，其估计上述输入信号的频率特性；以及频率分割特性设定单元，其根据上述频率特性估计单元中的估计结果设定频率分割单元中的分割特性。

(12)的发明相关的实施方式对应于图25～图27所示的第4实施方式。在(12)的发明的结构中，频率分割单元对应于图26的水平垂直高频抽出部201、45度倾斜高频抽出部203、135度倾斜高频抽出部205、剩余高频抽出部207、图27的倾斜高频抽出部405、垂直高频抽出部403、以及水平高频抽出部421。高频分量转换单元对应于图26所示的水平垂直高频转换处理部202、45度倾斜高频转换处理部204、135度倾斜高频转换处理部206、剩余高频转换处理部208、高频阈值计算部451、以及剩余高频阈值计算部900。并且，对应于图27所示的垂直高频转换部404、倾斜高频转换部406、水平高频转换处理部422、以及高频阈值计算部451。频率合成单元对应于图26、图27所示的合成部209。频率特性估计单元对应于图26所示的亮度色差分离部911。频率分割特性设定单元对应于图26、图27所示的降噪处理部104和色差降噪处理部450的低频抽出滤波器、针对各高频抽出滤波器的图2的HPF滤波器设定部221和LPF滤波器设定部222。

在(12)的发明中，亮度信号的频率分割特性和色差信号的频率分割特性不同，亮度信号和色差信号可采用适于各自的信号的频率分割方法进行转换处理。

(13)的发明的特征在于，(12)的发明的上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

(13)的发明相关的实施方式对应于图26、图27所示的第4实施方式。强调或抑制规定的高频分量中的具有规定范围的要素的高频分量抑制单元对应于图26的水平垂直高频转换处理部202、45度倾斜高频转换处理部204、135度倾斜高频转换处理部206、剩余高频转换处理部208、图27的倾斜高频转换部406、垂直高频转换部404以及水平高频转换部422。并且，设定用于决定规定范围的至少一个阈值的阈值设定单元对应于图26的高频阈值计算部451、剩余高频阈值计算部900、以及图27的高频阈值计算部451。(13)的发明通过进行上述的阈值处理，可消除高频分量的噪音分量。

(14)的发明的特征在于，(12)的发明的上述频率特性估计单元根据针对各像素设置在摄像元件的前面的至少2种滤色器的配置信息估计与上述滤色器对应的信号的频率特性。

(14)的发明相关的实施方式对应于图27所示的第4实施方式。根据针对各像素设置在摄像元件的前面的至少2种滤色器的配置信息估计与上述滤色器对应的信号的频率特性，这对应于亮度色差分离部911的处理。根据该结构，可针对亮度信号(G)和色差信号(R-G、B-G)采用适于各自的信号的频率分解方法进行降噪处理。

(15)的发明的特征在于，(12)的发明的上述频率特性估计单元根据色信号的类别估计该色信号的频率特性。

(15)的发明相关的实施方式对应于图27所示的第4实施方式。根据色信号的类别估计该色信号的频率特性，这对应于亮度色差分离部911的处理。根据该结构，可针对亮度信号和色差信号使用适于各自的频率特性的频率分割方法进行降噪处理。

(16)的发明的特征在于，(12)的发明的频率分割特性设定单元设定用于构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。

(16)的发明相关的实施方式对应于图26、图27所示的第4实施方式。设定用于构成频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数，这对应的是，图26的低频抽出部200由图6所示的低频抽出滤波器构成，该低频抽出滤波器由图2所示的LPF滤波器系数设定部222设定。并且，水平垂直高频抽出部201、45度倾斜高频抽出部203、以及135度倾斜高频抽出部205由图4所示的高频抽出滤波器(H1～H12)构成，剩余高频抽出滤波器207由图8所示的剩余高频抽出滤波器构成。这些高频抽出滤波器和剩余高频抽出滤波器由图2所示的HPF滤波器系数设定部221设定，这对应于“设定用于构成频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数”。而且，在图27的色差降噪处理部450中，低频抽出部200的低频抽出滤波器、各高频抽出部403、405、441～447的高频抽出滤波器由图2所示的噪音参数设定部109的HPF滤波器系数设定部221和LPF滤波器系数设定部222设定，这对应于“设定用于构成频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数”。根据该结构，通过对由规定系数的高频抽出滤波器所抽出的各高频分量进行转换处理，可降低各高频分量内包含的噪音。

在本发明中，即使进行任意的频率特性调整，也能防止对特定的频率分量进行无意的调整。因此，可防止产生由于信号处理而不可避免地产生的不需要的像或者信号分量即伪像。并且，由于可防止根据噪音量对特定的频率分量进行无意的调整，因而可防止产生伪像。本发明可提供根据图像信号处理时后处理装置的频率特性的变化改变基于频率分解的转换处理的频率分解特性，由此可防止画质劣化，并能同时实现适当的降噪和图像细部的保持的图像处理装置。

附图说明

图1是第1实施方式的结构图。

图2是示出图1的部分结构的结构图。

图3是示出拜耳排列的说明图。

图4是示出高频抽出滤波器的例子的说明图。

图5是示出低频抽出滤波器的例子的说明图。

图6是示出低频抽出滤波器的例子的说明图。

图7是示出剩余高频抽出滤波器的例子的说明图。

图8是示出剩余高频抽出滤波器的例子的说明图。

图9是示出带通滤波器的特性的特性图。

图10是示出核化(coring)变换处理的例子的特性图。

图11是第2实施方式的结构图。

图12是示出图11的部分结构的结构图。

图13是示出图12的部分结构的结构图。

图14是示出噪音模型的例子的特性图。

图15是示出图12的部分结构的结构图。

图16是示出高频抽出滤波器的例子的说明图。

图17是示出低频抽出滤波器的例子的说明图。

图18是示出图12的变形例的结构图。

图19是第3实施方式的结构图。

图20是示出高频抽出滤波器的例子的说明图。

图21是第3实施方式的变形例的结构图。

图22是示出图21的部分结构的结构图。

图23是示出像素的例子的说明图。

图24是示出局部分散值的例子的特性图。

图25是第4实施方式的结构图。

图26是示出图24的部分结构的结构图。

图27是示出图24的部分结构的结构图。

具体实施方式

以下，参照图对本发明的第1实施方式进行说明。图1～图10是应用于第1实施方式的图。图1是第1实施方式的结构图，图2是示出图1的部分结构的结构图，图3是示出拜耳排列的说明图，图4是示出高频抽出滤波器的例子的说明图，图5是示出低频抽出滤波器的例子的说明图，图6是示出低频抽出滤波器的例子的说明图，图7是示出剩余高频抽出滤波器的例子的说明图，图8是示出剩余高频抽出滤波器的例子的说明图，图9是示出带通滤波器的特性和低通滤波器的特性关系的特性图，图10是示出核化变换处理的例子的特性图。

基于本发明的图像处理装置的第1实施方式假定为数字相机，该实施方式实现以下功能，即：对被摄体进行摄影，并把所得到的数字数据记录在存储介质内。在图1中，经由透镜系统100和CCD 101所摄影的图像在A/D 102中被转换成数字信号，并被存储在缓冲器103内。缓冲器103的输出依次经由降噪处理部104、边缘强调处理部107和信号处理部105被输入到输出部106。

而且，尽管未作图示，然而由微计算机等构成的控制部与各部双向连接。从缓冲器103所读出的图像信号在降噪处理部104中降低图像信号内包含的噪音，之后在边缘强调处理部107中进行边缘强调处理。然后，在信号处理部105中进行颜色校正处理、压缩处理等公知的信号处理，并通过输出部106被保存在记录介质内。并且，降噪参数设定部109与降噪处理部104连接，边缘强调参数设定部108与边缘强调处理部107连接。

降噪处理是把图3所示的由纵5个像素和横5个像素的拜耳排列构成的区域作为处理单位来进行的。当进行了降噪处理时，图3的区域中心的G像素的信号被转换。在使区域各移动2个像素的同时，通过重复进行相同的处理，来对图像整体进行降噪处理。这些降噪处理是根据控制部的控制来进行的。

图2示出图1的降噪处理部104、边缘强调处理部107、降噪参数设定部109以及边缘强调参数设定部108的详细结构。降噪处理部104将从缓冲器103所读出的图像信号分解成多个频率分量，对所分解的各分量进行转换处理，之后进行再合成，降低噪音。这里，频率分解由具有方向性的高频抽出滤波器进行。

低频抽出部200把图5或图6所示的低频抽出滤波器应用于从缓冲器103所读出的图像信号，并抽出低频分量。低频抽出滤波器由LPF滤波器系数设定部222设定。由低频抽出部200所抽出的低频分量被输出到合成部209。高频抽出部201针对从缓冲器103所读出的图像信号，使用图4所示的高频抽出滤波器(H1～H12)和图7或图8所示的剩余高频抽出滤波器来抽出13种高频分量。

高频抽出滤波器(H1～H12)和剩余高频抽出滤波器由HPF滤波器系数设定部221设定。图4示出高频抽出滤波器(H1～H12)，(a)抽出45度倾斜高频分量，(b)抽出135度倾斜高频分量，(c)抽出水平垂直高频分量。并且，45度倾斜高频抽出滤波器由第一～第四高频抽出滤波器(H1～H4)构成。并且，135度倾斜高频抽出滤波器由第一～第四高频抽出滤波器(H5～H8)构成。而且，水平垂直高频抽出滤波器由第一～第四高频抽出滤波器(H9～H12)构成。另外，1/16是进行比特移位运算的电平调整用的除数。图2的高频抽出部201如图4(a)～(c)所示，抽出45度倾斜方向、135度倾斜方法、水平垂直方向的具有方向性的高频分量。

剩余高频分量是从原信号中抽出了低频分量、水平垂直高频分量、45度倾斜高频分量以及135度倾斜高频分量后的剩余分量。图7或图8所示的剩余高频抽出滤波器是为了以下目的而设置的，即：通过将低频分量、水平垂直高频分量、45度倾斜高频分量、135度倾斜高频分量以及剩余高频分量的所有分量进行合成，来使原信号完全复原。因此，图7的剩余高频滤波器对应于图5的LPF，对应于图6的LPF而使用图8的剩余高频滤波器。

高频转换部202通过对所抽出的各高频分量进行转换处理，来降低各高频分量内包含的噪音。在高频转换部202中，进行图10所示的核化转换处理。在图10中，○的部分表示绝对值比阈值小的振幅分量。在高频转换部202中，进行图10的核化转换处理，消除各高频分量中的上述○的部分即比阈值小的振幅分量，由此降低噪音。降噪后的高频分量在合成部209中与其他分量合成。

边缘强调处理部107从进行了降噪处理后的图像信号中抽出边缘分量和低频分量，对边缘分量适当进行转换处理，之后与低频分量相加混合，由此调整图像信号的清晰感。像素内插部210通过对图3所示的处理块的G像素的信号应用低通滤波器，来抽出低频分量。通过该处理，生成图3所示的处理块的R/B像素中的G分量。边缘抽出部211通过对图3所示的处理块的G像素的信号应用带通滤波器，来抽出边缘分量。

边缘强调部212通过对边缘分量乘以系数，来进行边缘分量的转换处理。在边缘加法部213中，将由边缘强调部212进行了转换处理后的边缘分量和由像素内插部210所抽出的低频分量进行合成，得到边缘强调后的图像信号。通过改变从强调量设定部232提供给边缘强调部212的强调系数，或者改变从BPF滤波器系数设定部231提供给边缘抽出部211的带通滤波器系数，来进行清晰感的调整。这些系数的变更是根据模式设定部250的模式设定来进行的。根据边缘强调模式设定来切换带通滤波器的系数，以使边缘抽出部211的带通滤波器的特性如图9(a)所示为BPF1，或者如图9(b)所示为BPF2。

当切换了边缘抽出部211的带通滤波器时，对应于此，还切换降噪处理部104中的低频抽出部200的低频抽出滤波器。针对边缘抽出滤波器BPF1的特性，设定图5所示的低频抽出滤波器1，并且针对边缘抽出滤波器BPF2的特性，设定图6所示的低频抽出滤波器2。图5所示的低频抽出滤波器1具有图9(a)的LPF1的特性，图6所示的低频抽出滤波器2具有图9(b)的LPF2的特性。

而且，根据低频抽出部200的低频抽出滤波器的切换，还切换高频抽出部201的剩余高频抽出滤波器。针对图5所示的低频抽出滤波器1，设定图7所示的剩余高频抽出滤波器1。并且，针对图6所示的抽出滤波器2，设定图8所示的剩余高频抽出滤波器2。

降噪处理部104的低频抽出部200的输出照原样被输入到边缘强调处理部107。因此，降噪处理部104的低频抽出滤波器的频率特性和边缘强调处理部107的带通滤波器的频率特性产生图9所示的重合部分。这样当有重合部分时，重合部分的频率分量被强调。当该频率特性重合的频率区域内残留有噪音分量时，噪音分量被强调而招致画质劣化。另一方面，由于边缘强调处理部107的带通滤波器的特性被单独调整，以便得到期望的清晰感，因而降噪处理部104的低频抽出滤波器的频率特性和边缘强调处理部107的带通滤波器的频率特性的关系不会被限定为一个。

因此，如上所述，在根据清晰感的调整变更了边缘强调处理部107的带通滤波器的频率特性的情况下，还变更降噪处理部104的低频抽出滤波器的频率特性。由此，降噪处理部104的低频抽出滤波器的频率特性和边缘强调处理部107的带通滤波器的频率特性重合部分减少，防止由于残留的噪音分量被强调而引起的画质劣化。

图11～图18是应用于本发明的第2实施方式的图。图11是第2实施方式的结构图，图12是示出图11的部分结构的结构图，图13是示出图12的部分结构的结构图，图14是示出噪音模型的例子的特性图，图15是示出图12的部分结构的结构图，图16是示出高频抽出滤波器的例子的说明图，图17是示出低频抽出滤波器的例子的说明图，图18是示出图12的变形例的结构图。另外，在第1实施方式中所说明的示出图3的拜耳排列的说明图和示出图10的核化转换处理的例子的特性图也应用在第2实施方式中。

图11示出本发明的第2实施方式中的图像处理装置。本发明的实施方式假定为数字相机，该实施方式实现以下功能，即：对被摄体进行摄影，并把所得到的数字数据记录在存储介质内。经由透镜系统100和CCD101所摄影的图像在A/D 102中被转换成数字信号，并被存储在缓冲器103内。缓冲器103的输出依次经由降噪处理部104和信号处理部105被输入到输出部106。

而且，尽管未作图示，然而由微计算机等构成的控制部与各部双向连接。从缓冲器103所读出的图像信号在降噪处理部104中降低图像信号内包含的噪音，之后在信号处理部105中进行颜色校正处理、压缩处理等公知的信号处理，并通过输出部106被保存在记录介质内。并且，灵敏度设定部404与降噪处理部104连接。

降噪处理部104中的降噪处理与第1实施方式中所说明的一样，是把图3所示的由纵5个像素和横5个像素的拜耳排列构成的区域作为处理单位来进行的。当进行了降噪处理时，图3的区域中心的G像素的信号被转换。在使区域各移动2个像素的同时，通过重复进行相同的处理，来对图像整体进行降噪处理。这些降噪处理是根据控制部的控制来进行的。

图12示出降噪处理部104的详细结构。降噪处理部104由以下部分构成，即：边缘方向自适应降噪处理部401、边缘方向非自适应降噪处理部402、以及与边缘方向自适应降噪处理部401和边缘方向非自适应降噪处理部402的各自的输出连接的信号选择部403。边缘方向自适应降噪处理部401将从缓冲器103所读出的图像信号分解成多个频率分量，对所分解的各分量实施转换处理，之后进行再合成，降低噪音。这里，频率分解由具有方向性的高频抽出滤波器进行。由边缘方向自适应降噪处理部401实现的降噪处理具有以下特征，即：由于分割成多个高频分量，并针对所分割的各分量进行降噪处理，因而图像信号内包含的本来结构与噪音分量的分离性良好。

低频抽出部200把图17所示的低频抽出滤波器应用于从缓冲器103所读出的图像信号，并抽出低频分量。所抽出的低频分量被输出到合成部209。并且，高频抽出部201由水平高频抽出部421、垂直高频抽出部423以及倾斜高频抽出部425构成。高频抽出部201针对从缓冲器103所读出的图像信号，使用图16所示的高频抽出滤波器(H1～H12)来抽出12种高频分量。

高频转换部202具有水平高频转换部422、垂直高频转换部424以及倾斜高频转换部426。高频转换部202通过对由水平高频抽出部421、垂直高频抽出部423以及倾斜高频抽出部425所抽出的各高频分量进行转换处理，来降低各高频分量内包含的噪音。

在图16的高频抽出滤波器(H1～H12)中，(a)抽出水平高频分量，(b)抽出垂直高频分量，(c)抽出倾斜高频分量。在图16中，与图6中说明的一样，例如，水平高频抽出滤波器由第一～第四高频抽出滤波器(H1～H4)构成。并且，垂直高频抽出滤波器由第一～第四高频抽出滤波器(H5～H8)构成。而且，倾斜高频抽出滤波器由第一～第四高频抽出滤波器(H9～H12)构成。这样，高频抽出滤波器进行水平方向、垂直方向、倾斜方向的具有方向性的高频抽出。

在高频转换部202中，进行上述的图10所示的核化转换处理。通过消除各高频分量中的比阈值小的振幅分量(图10的○标记的区域)来降低噪音。高频阈值计算部451决定在转换处理中使用的阈值。降噪后的高频分量在合成部209与其他分量合成。

如图13所示，高频阈值计算部451由噪音量估计部806和阈值调整部449构成。噪音量估计部806使用图14所示的噪音模型和由低频抽出部200获得的低频分量，求出被估计为包含在高频分量内的噪音量。图14的噪音模型是预先通过理论计算或实测来决定的，实线表示高灵敏度时的特性，虚线表示低灵敏度时的特性。图13所示的阈值调整部449将由噪音量估计部806得到的噪音量乘以调整值。该调整值是用于调整在水平高频转换部422、垂直高频转换部424以及倾斜高频转换部426中进行的转换处理的强度的值，并设定预先进行调整作业而决定的值，以得到期望的画质。

图15所示的边缘方向非自适应降噪处理部402将从缓冲器103所读出的图像信号在第二低频抽出部410和第二高频抽出部411中分解成低频分量和高频分量。由第二低频抽出部410所抽出的低频分量(A)被输入到第二高频阈值计算部452。并且，由第二低频抽出部410所抽出的低频分量在符号被反转后，在第二高频抽出部411的加法器C中与从缓冲器103所读出的图像信号合成。结果，抽出图像信号内包含的高频分量。

第二高频阈值计算部452与图13中所说明的高频阈值计算部451结构相同，由噪音量估计部806和阈值调整部449构成。第二高频阈值计算部452的输出被输入到第二高频转换部412，调整针对由第二高频抽出部411所抽出的高频分量的转换处理的强度。在第二高频转换部412对高频分量实施转换处理之后，在第二合成部409中与由第二低频抽出部410所抽出的低频分量再合成，降低噪音。第二合成部409的输出被输入到信号选择部403。

图12的第二低频抽出部410把图17所示的低频抽出滤波器应用于从缓冲器103所读出的图像信号，抽出低频分量。由低频抽出滤波器所抽出的低频分量被输出到第二合成部409。第二高频抽出部411由减法器构成，通过从缓冲器103所读出的图像信号中减去低频分量，来抽出高频分量。第二高频转换部412对由第二高频抽出部411所抽出的高频分量进行转换处理，由此降低高频分量内包含的噪音。

在第二高频转换部412中，进行图10所示的核化转换处理。即，第二高频转换部412通过消除高频分量中的比阈值小的振幅分量来降低噪音。第二高频阈值计算部452决定在转换处理中使用的阈值。在第二高频转换部412中降噪后的高频分量与由第二低频抽出部410所抽出的低频分量在第二合成部409中合成。第二高频阈值计算部452具有与高频阈值计算部451相同的结构，不同的是噪音模型和调整值。

信号选择部403把边缘方向自适应降噪处理部401的输出和边缘方向非自适应降噪处理部402的输出作为输入，根据灵敏度设定部404的摄影灵敏度设定，选择任一信号来输出到信号处理部105。在摄影灵敏度高于预先决定的灵敏度的情况下，信号选择部403选择边缘方向非自适应降噪处理部402的输出来输出到信号处理部105。

在灵敏度设定部404中，根据摄像元件的温度或者针对输入信号的增益或者摄影时的快门速度中的至少一方的信息来设定摄影灵敏度。并且，灵敏度设定部404具有增益计算单元，该增益计算单元根据ISO灵敏度、曝光信息、以及白平衡信息中的至少一方以上的信息来求出上述增益。

在摄影灵敏度高的情况下，图像信号内包含的噪音增加，因而在图3所示的小的处理块区域内，难以区别图像信号内包含的本来结构和由噪音分量偶尔产生的结构。因此，噪音分量的一部分不降低而保留，产生伪像，使画质劣化。结果，在摄影灵敏度高的情况下，得到以下结果，即：与在边缘方向自适应降噪处理部401中实现的降噪处理相比，在边缘方向非自适应降噪处理部402中实现的降噪处理是优选的。

因此，在摄影灵敏度低的情况下，把边缘方向自适应降噪处理部401的输出用作降噪处理部104的输出。并且，在摄影灵敏度高、且图像信号内包含的噪音量多的情况下，把边缘方向非自适应降噪处理部402的输出用作降噪处理部104的输出。这样，信号选择部403根据摄影灵敏度选择边缘方向自适应降噪处理部401或边缘方向非自适应降噪处理部402的输出并输出到信号处理部105。

这样，通过根据摄影灵敏度控制降噪处理，在摄影灵敏度低的情况下，使图像信号内包含的本来结构与噪音分量分离，有效地进行降噪，同时实现清晰感的提高和降噪。并且，在摄影灵敏度高的情况下，防止产生伪像。另外，设置图18所示的加权加法部500来取代图12的信号选择部403，可以进行如下控制：摄影灵敏度越高，就越增大边缘方向非自适应降噪处理部402的输出的权重。

图18的加权加法部500由乘法器D、E和加法器F构成。系数生成部501根据由灵敏度设定部404所设定的摄影灵敏度，决定针对边缘方向自适应降噪处理部401的输出的权重系数，将其设定在乘法器E内，并决定针对边缘方向非自适应降噪处理部402的输出的权重系数，将其设定在乘法器D内。乘法器E将边缘方向自适应降噪处理部401的输出乘以针对边缘方向自适应降噪处理部401的输出的权重系数，并输出到加法器F。乘法器D将边缘方向非自适应降噪处理部402的输出乘以针对边缘方向非自适应降噪处理部402的输出的权重系数，并输出到加法器F。加法器F将使用由系数生成部501所决定的系数来加权后的边缘方向自适应降噪处理部401的输出和边缘方向非自适应降噪处理部402的输出相加并输出到信号处理部105。在上述例中，信号选择部403中的信号选择、以及加权加法部500中的信号加权加法处理是根据由灵敏度设定部404所设定的摄影灵敏度来进行的。期望的是，这些信号选择以及加权加法处理根据图像信号内包含的噪音量来进行。因此，可以采用以下结构，即：取代由灵敏度设定部404所设定的摄影灵敏度，而根据从噪音估计部806所输出的噪音估计量，进行信号选择部403中的信号选择、以及加权加法器500中的信号加权加法处理。

图19～图24是应用于本发明的第3实施方式的图。图19是第3实施方式的结构图，图20是示出高频抽出滤波器的例子的说明图，图21是第3实施方式的变形例的结构图，图22是示出图21的部分结构的结构图，图23是示出像素的例子的说明图，图24是示出局部分散值的例子的特性图。另外，在第2实施方式中所说明的示出图16的高频抽出滤波器的例子的说明图、以及在图17中所说明的低频抽出滤波器的例子的说明图也应用于第3实施方式。

在第2实施方式中，如图12的结构图所示，设置有频率分解方法不同的二个降噪处理部，即边缘方向自适应降噪处理部401和边缘方向非自适应降噪处理部402，并在信号选择部403中选择各自的输出来进行输出。在第3实施方式中，取代将降噪处理部设置为边缘方向自适应降噪处理部401和边缘方向非自适应降噪处理部402这二个，而是通过切换滤波器系数，来切换要执行的降噪处理。

在本实施方式中，如图19所示，设置有采用在与图12的边缘方向自适应降噪处理部401相同的结构上追加滤波器系数设定部220的结构的降噪部104。在图19中，滤波器系数设定部220根据灵敏度设定部404的摄影灵敏度将不同的抽出滤波器系数设定在水平高频抽出部421、垂直高频抽出部423以及倾斜高频抽出部425内。各高频抽出部421、423、425分别与水平高频转换部422、垂直高频转换部424以及倾斜高频转换部426连接。

在图19中，根据由灵敏度设定部404所设定的摄影灵敏度的设定，在滤波器系数设定部220中变更被设定成各高频分量的抽出滤波器系数，由此进行边缘方向自适应降噪处理和边缘方向非自适应降噪处理的切换。在摄影灵敏度比预先决定的灵敏度低的情况下，通过设定在第2实施方式中所说明的图16(高频抽出滤波器)和图17(低频抽出滤波器)所示的滤波器系数，来进行边缘方向自适应降噪处理。另一方面，在摄影灵敏度比预先决定的灵敏度高的情况下，通过设定图20(高频抽出滤波器)和图17(低频抽出滤波器)所示的滤波器系数，来进行边缘方向非自适应降噪处理。

这里，图20与图16一样，示出设定在各高频抽出部内的抽出滤波器。在摄影灵敏度比预先决定的灵敏度高的情况下，进行边缘方向非自适应降噪处理。因此，仅把第一水平高频抽出滤波器(H1)用作高频抽出滤波器，在其他高频抽出滤波器(H2～H12)内全部设定0系数。结果，通过第一水平高频抽出滤波器抽出所有方向的高频分量，进行边缘方向非自适应降噪处理。

图21示出第3实施方式的变形例。在图19所示的第3实施方式中，根据灵敏度设定部404的摄影灵敏度的设定，变更设定在低频抽出部200和各高频抽出部(421～425)内的抽出滤波器系数。在图21所示的变形例中，估计图像信号内包含的噪音量，根据所估计的噪音量变更抽出滤波器系数。如图21所示，设置噪音量分析部881来取代图19的设定摄影灵敏度的灵敏度设定部404。

图22示出噪音量分析部881。高频抽出部891在图20的高频抽出滤波器中，使用H1表示的滤波器来抽出图像信号的高频分量。分散计算部892计算关注像素的周边n×n像素中的局部分散值。局部分散值是将图23所示的关注像素的周边n×n像素中的高频分量的平方值进行合计，并除以n的平方所得的结果。针对与输入图像的所有像素对应的高频分量计算局部分散值，并将其临时保持在分散值缓冲器893内。

直方图生成部894根据分散值缓冲器893的局部分散值，生成局部分散值的直方图。众数值(最频值)检测部895如图24的特性图所示，根据局部分散值的直方图决定发生频度最高的局部分散值，并把此时的局部分散值作为图像信号内包含的噪音量的估计值来输出。滤波器系数设定部220如图21中所说明的那样，根据噪音量的估计值，变更设定在低频抽出部200和各高频抽出部(421～425)内的抽出滤波器系数。

当噪音量的估计值比预先决定的值小时，通过设定图16(高频抽出滤波器)和图17(低频抽出滤波器)所示的滤波器系数，来进行边缘方向自适应降噪处理。另一方面，当噪音量的估计值比预先决定的灵敏度高的情况下，通过设定图20(高频抽出滤波器)和图17(低频抽出滤波器)所示的滤波器系数，来进行边缘方向非自适应降噪处理。并且，噪音量的估计值既可被提供给阈值调整部449，又可用作各高频分量的转换处理阈值的基准。

在本变形例中，示出了在根据图像信号计算图像信号内包含的噪音量的估计值时，使用分散计算部892的处理的局部分散值的方法，然而不限于此。

图25～图27是应用于第4实施方式的图。图25是第4实施方式的结构图，图26是示出图25的部分结构的结构图，图27是示出图25的部分结构的结构图。并且，图4的高频抽出滤波器、图6的低频抽出滤波器、图8的剩余高频抽出滤波器、图16的高频抽出滤波器以及图17的低频抽出滤波器也应用于第4实施方式。

图25示出本发明的第4实施方式中的图像处理装置。经由透镜系统100和CCD 101所摄影的图像在A/D 102中被转换成数字信号，并被存储在缓冲器103内。由缓冲器103所得到的RGB原色信号被输入到亮度色差分离部911，被分离成亮度信号(G)和色差信号(R-G，B-G)。亮度信号被输入到降噪处理部104，色差信号被输入到色差降噪处理部450，分别单独进行降噪处理。

图26示出对亮度信号(G)进行降噪处理的降噪处理部104。低频抽出部200由图6所示的低频抽出滤波器构成。水平垂直高频抽出部201、45度倾斜高频抽出部203以及135度倾斜高频抽出部205由图4所示的高频抽出滤波器(H1～H12)构成。剩余高频抽出滤波器207由图8所示的剩余高频抽出滤波器构成。

如图13中所说明的那样，高频阈值计算部451由噪音量估计部806和阈值调整部449构成。噪音量估计部806求出被估计为包含在高频分量内的噪音量，其输出被输入到阈值调整部449。阈值调整部449将上述噪音量乘以调整值来计算阈值。由阈值调整部449计算出的阈值的输出B被输入到水平垂直高频转换处理部202、45度倾斜高频转换处理部204以及135度倾斜高频转换处理部206。

剩余高频阈值计算部900由噪音量调整部920和阈值调整部949构成。高频阈值计算部451的噪音量估计部806的输出也被输入到剩余高频阈值计算部900的噪音量调整部920。噪音量调整部920的输出被输入到阈值调整部949，将噪音量乘以调整值，其输出被输入到剩余高频转换处理部208。在各高频转换处理部202～208进行了降噪后的高频分量的输出被输入到合成部209。在低频抽出部200中进行了降噪后的低频分量的输出也被输入到合成部209，与上述高频分量的输出合成。在合成部209中所合成的输出被输出到图25所示的信号处理部105。

图27示出对色差信号(R-G)、(B-G)进行降噪处理的色差降噪处理部450。低频抽出部200由图17所示的低频抽出滤波器构成。水平高频抽出部421、垂直高频抽出部403以及倾斜高频抽出部405由图16所示的高频抽出滤波器(H1～H12)构成。水平高频抽出部421由第一水平高频抽出部441、第二水平高频抽出部443、第三水平高频抽出部445以及第四水平高频抽出部447构成。并且，水平高频转换部422由第一水平高频转换部442、第二水平高频转换部444、第三水平高频转换部446以及第四水平高频转换部448构成。垂直高频抽出部403和倾斜高频抽出部405也与水平高频抽出部421一样由第一至第四的四个抽出部构成。并且，垂直高频转换部404和倾斜高频转换部406也是一样。

从亮度色差分离部911所输出的色差信号被输入到水平高频抽出部421、垂直高频抽出部403、倾斜高频抽出部405以及低频抽出部200。在低频抽出部200中，使用低频抽出滤波器抽出低频分量，并将输出输入到合成部209。并且，低频抽出部200的输出被输入到图26中所说明的由噪音量估计部806和阈值调整部449构成的高频阈值计算部451。在阈值调整部449中将低频分量的噪音量乘以调整值而计算出的阈值的输出B被输入到垂直高频转换部406和倾斜高频转换部404。并且，该输出B被输入到水平高频转换部422的第一水平高频转换部442、第二水平高频转换部444、第三水平高频转换部446以及第四水平高频转换部448。

针对从亮度色差分离部911所输入且由各高频抽出部(421、403、405)所抽出的高频分量，在各高频转换部(422、404、406)中根据由上述阈值调整部449计算出的阈值进行阈值处理。

通过进行这种阈值处理，来消除高频分量的噪音分量。通过将由低频抽出部200所抽出的低频分量与由垂直高频转换部406、倾斜高频转换部404以及水平高频转换部422的第一～第四高频转换部(442～448)消除了噪音分量后的高频分量在合成部209中进行合成，得到降噪后的图像信号。该图像信号被输出到图25所示的信号处理部105。

在第4实施方式中，特征在于，亮度信号的频率分割特性和色差信号的频率分割特性不同。在拜耳排列中，亮度信号的频率特性和色差信号的频率特性不同。如图26、图27中所说明的那样，亮度信号和色差信号可使用适于各方的频率分割方法进行转换处理。

在各实施方式中，示出了拜耳排列图像为例，然而本发明的应用不限于拜耳排列图像。

产业上的可利用性

如以上说明那样，根据本发明，可提供能应对处理图像信号时的频率特性的变化、并能同时实现适当的降噪和图像细部的保持的图像处理装置。

Claims

1.一种图像处理装置，其特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将上述低频分量和上述转换处理后的高频分量进行合成；频率特性设定单元，其设定输出信号所要求的频率特性；频率特性调整单元，其对上述频率合成单元的输出信号进一步进行转换处理，将输出信号的频率特性调整成由上述频率特性设定单元所设定的频率特性；以及频率分割特性设定单元，其根据在频率特性设定单元中所设定的频率特性，设定频率分割单元中的分割特性。

2.根据权利要求1所述的图像处理装置，其特征在于，上述频率特性调整单元包括：规定频率分量抽出单元，其从上述频率合成单元的输出信号中抽出规定的频率分量；规定频率分量强调单元，其对由上述规定频率分量抽出单元所抽出的上述规定的频率分量进行规定的强调处理；以及规定频率分量合成单元，其将由上述规定频率分量强调单元进行了上述规定的强调处理后的上述规定的频率分量和上述频率合成单元的输出信号进行合成。

3.根据权利要求2所述的图像处理装置，其特征在于，上述频率特性调整单元还具有低频分量抽出单元，该低频分量抽出单元从上述频率合成单元的输出信号中抽出规定的低频分量，上述规定频率分量合成单元将由上述规定频率分量强调单元进行了上述规定的强调处理后的上述规定的频率分量和由上述低频分量抽出单元抽出的上述规定的低频分量进行合成。

4.根据权利要求1所述的图像处理装置，其特征在于，上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

5.根据权利要求2所述的图像处理装置，其特征在于，上述频率特性设定单元设定用于构成上述规定频率分量抽出单元的规定频率抽出滤波器的系数、或者上述规定的强调处理的强调量、或者其双方。

6.根据权利要求1所述的图像处理装置，其特征在于，上述频率分割特性设定单元设定用于构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。

7.一种图像处理装置，其特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将上述低频分量和转换处理后的高频分量进行合成；噪音特性估计单元，其估计上述输入信号的噪音特性；以及频率分割特性设定单元，其根据上述噪音特性估计单元中的估计结果设定频率分割单元中的分割特性。

8.根据权利要求7所述的图像处理装置，其特征在于，上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

9.根据权利要求7所述的图像处理装置，其特征在于，噪音特性估计单元包括噪音量估计单元，该噪音量估计单元根据摄像元件的温度或者针对上述输入信号的增益或者摄影时的快门速度中的至少一个信息来估计上述输入信号内包含的噪音量。

10.根据权利要求7所述的图像处理装置，其特征在于，噪音特性估计单元还具有增益计算单元，该增益计算单元根据ISO灵敏度、曝光信息、以及白平衡信息中的至少一个以上的信息求出上述增益。

11.根据权利要求7所述的图像处理装置，其特征在于，上述频率分割特性设定单元设定构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。

12.一种图像处理装置，其特征在于，该图像处理装置具有：频率分割单元，其将输入信号分割成低频分量和至少一个高频分量；高频分量转换单元，其对上述高频分量进行转换处理；频率合成单元，其将低频分量和转换处理后的高频分量进行合成；频率特性估计单元，其估计上述输入信号的频率特性；以及频率分割特性设定单元，其根据上述频率特性估计单元中的估计结果设定频率分割单元中的分割特性。

13.根据权利要求12所述的图像处理装置，其特征在于，上述高频分量转换单元包括：高频分量抑制单元，其强调或抑制上述高频分量中规定的高频分量中的具有规定范围的要素；以及阈值设定单元，其设定用于决定规定范围的至少一个阈值。

14.根据权利要求12所述的图像处理装置，其特征在于，上述频率特性估计单元根据针对各像素设置在摄像元件的前面的至少2种滤色器的配置信息估计与上述滤色器对应的信号的频率特性。

15.根据权利要求12所述的图像处理装置，其特征在于，上述频率特性估计单元根据色信号的类别估计该色信号的频率特性。

16.根据权利要求12所述的图像处理装置，其特征在于，频率分割特性设定单元设定用于构成上述频率分割单元的频率分割滤波器组中的至少一个频率分割滤波器的系数。