CN104380727B

CN104380727B - 图像处理装置和图像处理方法

Info

Publication number: CN104380727B
Application number: CN201380031160.6A
Authority: CN
Inventors: 长谷川亮; 田中诚二
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-06-12
Filing date: 2013-04-24
Publication date: 2015-11-25
Anticipated expiration: 2033-04-24
Also published as: CN104380727A; WO2013187133A1; US20150093027A1; JPWO2013187133A1; US9177367B2; JP5697802B2

Abstract

本发明提供一种防止色边界部(边缘)的渗色等不良情况且降低图像噪声的技术。在包括实际空间滤波处理步骤(S10)和颜色空间滤波处理步骤(S20)的图像处理方法中，在实际空间滤波处理步骤(S10)中进行基于实际空间中的距离的滤波处理，在颜色空间滤波处理步骤(S20)中进行基于实际空间中的距离的滤波处理。实际空间滤波处理步骤(S10)基于边缘保存型的滤波处理，颜色空间滤波处理步骤(S20)中使用的关注像素的像素数据是在实际空间滤波处理步骤(S10)中算出的像素数据。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，特别是涉及能够保存图像的边缘且降低噪声的技术。

背景技术

在相机等摄像装置的领域中，在经由摄像元件(CCD、CMOS等)而获取的数字图像数据中有时包含噪声成分，提出了将该噪声成分除去的各种各样的方法。

例如，专利文献1公开了对RGB的彩色图像实施噪声降低处理的图像处理装置。在该图像处理装置中，算出关注像素与其周边像素的RGB颜色空间上的距离，并根据颜色空间上的距离算出相对于各周边像素的加权系数，对包括关注像素的周边像素的图像数据进行加权平均处理而算出关注像素的像素值。

另外专利文献2公开了从图像除去噪声的画质改善装置。在该图像改善装置中，对图像数据中的色信道间的共分散数据进行计算，利用该共分散数据和预定噪声的色信道间的共分散数据，导出与没有因为噪声而变差的原图像的k维颜色空间中的平均平方误差最小的滤波器，利用该导出的滤波器进行噪声降低处理。

另外，在专利文献3中公开了利用在基准值缓存器中记录的基准值进行噪声除去的图像处理装置。在该图像处理装置中，通过对输入像素值的加权运算而决定输出像素值。

专利文献

专利文献1：日本特开2007－288439号公报

专利文献2：日本特开2002－222416号公报

专利文献3：日本特开平10－112803号公报

发明内容

发明要解决的课题

如上述那样，虽然提出了与噪声的降低/除去相关的各种方法，但是在基于各方法的噪声降低的效果方面存在离散，在噪声等级比较大(高)的情况下等，未必能够得到良好的噪声降低效果。

例如，在专利文献1中公开了在进行了低通滤波处理后算出颜色空间上的距离的图像处理方法，然而仅单纯地实施低通滤波，关于噪声降低的效果比较有效，但是有时边缘的保存性会变差。特别是在噪声等级较大的情况下，有时在图像的色边界部分中会发生渗色(模糊)、色空缺等不良情况。

另外，在专利文献2的图像改善装置中，在图像数据中包含等级较大的噪声的情况下，图像信号成分和噪声成分的分离性能也会变差。其结果为，在使用专利文献2的图像改善装置的情况下，会残留较强的噪声，另外存在在色边界部分产生渗色的忧虑。

另外在专利文献3的图像处理装置中，仅基于输入像素值和基准值进行加权的平均化，因此能够达到的噪声降低的效果本来就较低。

因此，希望提出如下那样的新型技术方案：即使在图像数据中包含等级较大的噪声成分的情况下，也能够防止色边界部分的渗色等而保持图像本来的边缘(边界部)清晰度，并将图像噪声有效地除去。

本发明鉴于上述的情形而提出，目的在于提供一种防止渗色等不良情况且降低图像噪声的技术。

用于解决课题的手段

本发明的一方式涉及一种图像处理装置，对由多个像素的像素数据的集合构成的图像数据进行处理，该图像处理装置具备：实际空间滤波处理部，在所输入的图像数据中，基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的实际空间中的距离算出对各周边像素的实际空间加权系数，使用该实际空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均而算出关注像素的像素数据；及颜色空间滤波处理部，基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的颜色空间中的距离而算出对各周边像素的颜色空间加权系数，使用该颜色空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均而算出关注像素的像素数据，实际空间滤波处理部所进行的实际空间加权系数的计算和像素数据的加权平均基于边缘保存型的滤波处理，颜色空间滤波处理部中使用的像素数据中的至少关注像素的像素数据是由实际空间滤波处理部算出的像素数据。

根据本方式，能够在前级进行基于边缘保存型的滤波处理的实际空间滤波处理，在后级进行颜色空间滤波处理。因此，能够在通过边缘保存型的滤波处理防止渗色等不良情况并对边缘(色边界部分)良好地进行了保存的状态下，通过颜色空间滤波处理降低图像噪声。

另外，在此所说的“实际空间”表示基于图像数据上的像素配置关系的空间，所谓“实际空间中的距离”是反映图像数据的多个像素间的实际距离的指标，直接或间接地表示处理对象的像素(关注像素)与其他周边的像素(周边像素)的距离。因此，能够将图像上的像素间的实际距离直接地称作“实际空间中的距离”，也能够将使用表示像素间的实际距离的其他指标(参数)而间接地表示像素间的实际距离的参数称作“实际空间中的距离”。例如，能够以像素为单位表示实际空间中的距离，与关注像素相邻的周边像素相对于关注像素能够表现为具有“相当于一个像素”的实际空间中的距离。

另外，在此所谓的“颜色空间”，是立体地记述的颜色的空间，作为代表性的颜色空间能够列举出基于“R/G/B”、“Y/Cb/Cr”的颜色空间。另外，所谓“颜色空间中的距离”，是反映以图像数据的多个像素间的颜色为基准的分离度的指标，直接或间接地表示处理对象的像素(关注像素)和其他周边的像素(周边像素)的与颜色相关的近似度。因此，能够将颜色空间上中的距离直接地称作“颜色空间上的距离”，也能够将使用表示颜色空间上的距离的其他指标(参数)而间接地表示像素间的颜色的近似度/分离度的参数称作“颜色空间上的距离”。例如，也可以是，关于规定颜色空间的要素(RGB颜色空间中的R/G/B各要素、YCbCr颜色空间中的Y/Cb/Cr各要素)，求出关注像素的像素数据与周边像素的像素数据之差的绝对值的平方的总和，将该总和的平方根表现为“颜色空间上的距离”。另外，也可以将对应规定颜色空间的每个要素进行了加权后的参数表现为“颜色空间上的距离”。另外，也可以不对关注像素的像素数据与周边像素的像素数据之差的绝对值进行平方，而将在规定颜色空间的要素间原样相加后的参数表现为“颜色空间上的距离”。另外，也可以是，对应规定颜色空间的每个要素，求出关注像素的像素数据与周边像素的像素数据之差的绝对值，不对该差的绝对值进行平方，而对应规定颜色空间的每个要素进行差的绝对值的加权，将使在规定颜色空间的要素间进行了加权后的差的绝对值相加后的参数表现为“颜色空间上的距离”。此外，也可以是，将对这些颜色空间上的距离乘以预定的系数而得到的值(加权后的值)表现为“颜色空间上的距离”。

另外，在此所谓的“边缘保存型的滤波处理”表示对图像的边缘(色边界部分)良好地进行保持的滤波处理。例如，如果关注像素与周边像素的像素数据之差的绝对值是预定的阈值以内，则在该集合的范围内算出图像数据(本例中为色差数据)的平均值的处理包含于在此所说的“边缘保存型的滤波处理”。另外，能够对图像的边缘(色边界部分)良好地进行保持的其他处理也可以包含于“边缘保存型的滤波处理”。

优选为，图像数据包含与颜色相关的图像数据，实际空间滤波处理部对与颜色相关的图像数据，基于边缘保存型的滤波处理来进行实际空间加权系数的计算和像素数据的加权平均。

根据本方式，由于对与颜色相关的图像数据实施边缘保存型的实际空间滤波处理，因此能够在防止渗色等且对边缘良好地进行了保持的状态下降低图像噪声。另外，作为在此所谓的“与颜色相关的图像数据”，例如能够使用RGB的图像数据。

优选为，图像数据包含与亮度相关的图像数据和与色差相关的图像数据，实际空间滤波处理部对与亮度相关的图像数据和与色差相关的图像数据中的至少与色差相关的图像数据，基于边缘保存型的滤波处理来进行实际空间加权系数的计算和像素数据的加权平均。

根据本方式，由于至少对与色差相关的图像数据实施边缘保存型的实际空间滤波处理，因此能够在防止渗色等且对边缘良好地进行了保持的状态下降低图像噪声。另外，作为在此所说的“与色差相关的图像数据”，例如能够使用Cr/Cb的图像数据。

优选为，颜色空间滤波处理部为了求出关注像素与周边像素的颜色空间中的距离而使用的像素数据中，关注像素的像素数据是实际空间滤波处理部所算出的像素数据，周边像素的像素数据是构成向实际空间滤波处理部输入之前的图像数据的像素数据。

根据本方式，颜色空间滤波处理部基于接受了实际空间滤波处理后的关注像素的像素数据和没有接受实际空间滤波处理的周边像素的像素数据，求出关注像素与周边像素的颜色空间中的距离。在该情况下，也能够在防止了渗色等不良情况且对边缘(色边界部分)良好地进行了保存的状态下，通过颜色空间滤波处理降低图像噪声。

优选为，颜色空间滤波处理部为了基于颜色空间加权系数的加权平均而使用的像素数据中，关注像素的像素数据是实际空间滤波处理部所算出的像素数据，周边像素的像素数据是构成向实际空间滤波处理部输入之前的图像数据的像素数据。

根据本方式，颜色空间滤波处理部基于接受了实际空间滤波处理后的关注像素的像素数据和没有接受实际空间滤波处理的周边像素的像素数据，进行基于颜色空间加权系数的加权平均运算。在该情况下，也能够在防止渗色等不良情况且对边缘(色边界部分)良好地进行了保存的状态下通过颜色空间滤波处理降低图像噪声。

优选为，颜色空间滤波处理部使用实际空间滤波处理部所算出的像素数据，求出关注像素与周边像素的颜色空间中的距离而进行基于颜色空间加权系数的加权平均。

根据本方式，由于基于接受了实际空间滤波处理后的关注像素的像素数据和周边像素的像素数据进行颜色空间滤波处理部中的颜色空间滤波处理，因此能够非常有效地进行边缘保存和噪声降低。

优选为，成为在实际空间滤波处理部和颜色空间滤波处理部的各滤波处理部中使用的像素数据的对象的周边像素与成为在实际空间滤波处理部和颜色空间滤波处理部的各滤波处理部中使用的像素数据的对象的关注像素和其他周边像素中的至少任一像素相邻。

根据本方式，基于彼此相邻的关注像素和周边像素的像素数据进行实际空间滤波处理和颜色空间滤波处理。通过使用相邻像素的像素数据，能够简单且有效地进行实际空间滤波处理和颜色空间滤波处理。

优选为，成为在颜色空间滤波处理部中使用的像素数据的对象的周边像素与成为在颜色空间滤波处理部中使用的像素数据的对象的关注像素和其他周边像素均不相邻。

根据本方式，基于彼此分离配置的关注像素和周边像素的像素数据而进行颜色空间滤波处理。通过使用分离配置的像素的像素数据，能够活用比较广范围的像素的像素数据。

优选为，颜色空间基于RGB。

根据本方式，能够基于RGB颜色空间中的距离进行颜色空间滤波处理。

优选为，颜色空间基于亮度和色差。

根据本方式，能够基于亮度/色差(Y/Cb/Cr等)颜色空间中的距离进行颜色空间滤波处理。

优选为，实际空间滤波处理部被输入与亮度相关的图像数据和与色差相关的图像数据，对与亮度相关的图像数据和与色差相关的图像数据分别进行实际空间加权系数的计算和加权平均而算出像素数据，颜色空间滤波处理部被输入与亮度相关的图像数据和与色差相关的图像数据，使用该与亮度相关的图像数据，对与色差相关的图像数据进行颜色空间加权系数的计算和加权平均而算出像素数据，图像处理装置输出基于在实际空间滤波处理部中算出的像素数据的与亮度相关的图像数据和基于在颜色空间滤波处理部中算出的像素数据的与色差相关的图像数据。

根据本方式，若将与亮度和色差相关的图像数据输入到实际空间滤波处理部，则将在实际空间滤波处理部中进行了图像处理后的与亮度数据相关的图像数据从图像处理装置输出，另外，将在实际空间滤波处理部和颜色空间滤波处理部中进行了图像处理后的与色差相关的图像数据从图像处理装置输出。由此，能够在防止渗色等且对图像边缘良好地进行了保存的状态下，得到降低了图像噪声的图像数据。

本发明的其他方式涉及图像处理方法，对由多个像素的像素数据的集合构成的图像数据进行处理，该图像处理方法具备：实际空间滤波处理步骤，在所输入的图像数据中，基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的实际空间中的距离算出对各周边像素的实际空间加权系数，使用该实际空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均而算出关注像素的像素数据；及颜色空间滤波处理步骤，基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的颜色空间中的距离而算出对各周边像素的颜色空间加权系数，使用该颜色空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均而算出关注像素的像素数据，实际空间滤波处理步骤中所进行的实际空间加权系数的计算和像素数据的加权平均基于边缘保存型的滤波处理，颜色空间滤波处理步骤中使用的像素数据中的至少关注像素的像素数据是在实际空间滤波处理步骤中算出的像素数据。

发明效果

根据本发明，在实际空间滤波处理中，实际空间加权系数的计算和像素数据的加权平均包括“边缘保存型的滤波处理”，因此能够对图像的边界部(边缘部)良好地进行保存并进行实际空间滤波处理。由此，能够基于以良好的状态保存了图像边界部的图像数据而进行颜色空间滤波处理，因此能够防止渗色等不良情况且有效地降低图像噪声。

附图说明

图1是表示将本发明适用于摄像装置(数码相机)的一例的功能框图。

图2是表示图像处理部中的数字处理的一例的功能框图。

图3是表示噪声降低处理的流程的框图。

图4是表示多个像素的配置例的示意图。

图5A例示在实际空间滤波处理中使用的实际空间滤波器，并表示将水平一维7抽头滤波器和垂直一维7抽头滤波器组合而成的分离型的实际空间滤波器。

图5B表示在实际空间滤波处理中使用的实际空间滤波器，表示由水平垂直方向的7×7抽头滤波器构成的行列型(二维)实际空间滤波器。

图6A是表示基于颜色空间中的距离的噪声降低处理的一例的概念图。

图6B是表示基于颜色空间中的距离的噪声降低处理的一例的概念图。

图6C是表示基于颜色空间中的距离的噪声降低处理的一例的概念图。

图6D是表示基于颜色空间中的距离的噪声降低处理的一例的概念图。

图7是表示实际空间滤波处理和颜色空间滤波处理的关系的图。

图8是表示颜色空间滤波用滤波系数的计算的流程的图。

图9是表示颜色空间上的距离和加权系数的关系的坐标图的一例。

图10是表示颜色空间滤波处理部中的关注像素和周边像素的其他配置例的图。

图11是智能手机的外观图。

图12是表示智能手机的结构的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，下述的结构不过是例示，各结构能够由任意的硬件、软件或者两者的组合适当实现。

本发明涉及防止色边界部中的渗色等且降低图像噪声的技术，可以适用于能够进行从图像数据将噪声降低/除去的处理的全部设备类。因此，例如即使利用相机等摄像装置、与摄像装置连接的计算机、或者安装于计算机的软件(用于使计算机执行以下的处理工序(步骤)的程序)也能够实现本发明。该软件(程序等)也可以记录于ROM等计算机能够读取的非暂时性的记录介质(non－transitorycomputer－readablemedium：非易失性计算机可读介质)。

图1是表示将本发明适用于摄像装置(数码相机)的一例的功能框图，特别是表示与噪声降低处理(噪声降低处理)相关的模块的图。

摄像装置10具备相互连接的摄像部11、图像处理部(图像处理装置)22、控制部14、存储器15、显示部(液晶显示器等)16、操作部17和信号输入输出I/F(接口)18。

摄像部11是通过被摄体的摄像来获取摄像数据(图像数据)的部位，包含透镜12和摄像元件(CCD、CMOS等)13等而构成。摄像元件13具有将多个受光元件以像素为单位二维配置的结构。

图像处理部22对在摄像部11中摄像获取的图像数据进行用于提高画质的图像处理、图像数据的压缩处理。在本例中特别是，除了进行WB(白平衡)调整处理等各种处理的图像处理电路24外，还在图像处理部22设置将图像数据所包含的图像噪声降低/除去的噪声降低处理部25。噪声降低处理部25具有对图像数据进行实际空间滤波处理的实际空间滤波处理部26和进行颜色空间滤波处理的颜色空间滤波处理部27。

对于图像处理部22中的图像处理的详细情况留作后述，但是，在本例中，首先进行实际空间滤波处理作为颜色空间滤波处理的前级的预滤波处理，在该实际空间滤波处理后进行颜色空间滤波处理。在想要单纯地仅以实际空间滤波进行色差噪声的降低的情况下，存在在颜色的边界产生渗色(模糊)、色空缺的忧虑。另一方面，在单纯地在颜色空间上进行滤波处理而实现色差噪声的降低的情况下，如果想要抑制渗色、色空缺，则重要的噪声降低的程度会变弱。例如，在对象像素包含较强的噪声成分的情况下，对象像素与周边像素的颜色空间上的距离较大，因此即使在颜色空间上进行滤波处理也无法充分地降低噪声成分，有可能会作为图像噪声而残留。

因此，在以下的实施方式中，首先，通过在前级中进行实际空间滤波处理，而将强度较强的噪声成分除去。由此，能够增大后级的颜色空间滤波处理的噪声降低效果，并且也能够得到仅在实际空间滤波处理中无法得到的渗色、色空缺的抑制这一效果。

对于包含实际空间滤波处理和颜色空间滤波处理的图像处理方法的详细情况留作后述(参照图3等)。

图1所示的存储器15是对图像数据、使用于各种处理的程序、数据进行保存的数据保存区域，另外，作为为了在各种处理时的运算等而使用的缓存器区域也能够活用。

显示部16和操作部17构成用户接口。显示部16向用户提示各种显示，用户能够经由操作部17发送各种操作指示信号。因此，用户能够一边对显示部16所示的信息进行确认一边经由操作部17向控制部14发送操作指示信号，并对摄像部11、图像处理部22、存储器15、显示部16、信号输入输出I/F18等中的各种处理进行控制。

信号输入输出I/F18构成摄像装置10和外部设备类之间的数据输入输出接口。因此，由摄像部11摄像获取的图像数据(RAW数据、图像处理后的图像数据等)能够经由信号输入输出I/F18而输出到外部设备类。

控制部14是对构成摄像装置10的各种设备类集中地进行控制的部位，由CPU(中央处理装置)、其他周边电路构成。因此，能够通过控制部14对摄像部11的摄像处理、图像处理部22的图像处理、对存储器15的写入处理/读出处理、显示部16中的显示处理、来自操作部17的操作信号的处理、经由信号输入输出I/F18的输入输出处理等各种处理集中地进行控制。

接下来，对图像处理部22中的具体的图像处理例进行说明。

图2是表示图像处理部22中的数字处理的一例的功能框图。

由摄像部11摄像生成的摄像数据(RAW数据)包含例如14位的R(红)、G(绿)、B(蓝)的颜色数据以R、G、B的点顺序施加到图像处理部22的线性前处理部31。R、G、B的RAW数据由线性前处理部31进行偏置调整、16位化、阴影校正这样的对线性数据的前处理。

从线性前处理部31输出的R、G、B数据被输出到白平衡(WB)校正部32。WB校正部32在对每个R、G、B数据乘以白平衡校正用的增益值Rg、Gg、Bg，从而进行白平衡校正。在此，白平衡校正用的增益值Rg、Gg、Bg设定为对RAW数据进行解析、例如对光源种类(太阳光、荧光灯、钨灯泡等)进行确定并与该光源种类对应而预先存储的增益值Rg、Gg、Bg，或者设定为与在进行白平衡校正的菜单画面上手动选择的光源种类、色温对应的增益值Rg、Gg、Bg。

从WB校正部32输出的R、G、B数据提供给曝光校正部33。曝光校正部33根据基于手动的曝光校正值(例如－3EV～+3EV)的指示输入而对普通曝光(不进行曝光校正的情况下的曝光)将曝光校正为不足(减感处理)，或校正为过度(增感处理)。

从曝光校正部33输出的R、G、B数据被输出到伽马(γ)校正部34，在此，将线性数据转换为sRGB、AdobeRBG、scRGB这样的颜色空间的灰度数据。被伽马校正后的R、G、B数据被输出到去马赛克算法处理部(去马赛克算法处理部)35。

去马赛克算法处理部35进行对与摄像元件中的滤色器的排列相伴的R、G、B数据的空间性的偏差进行插值而以去马赛克算法的方式对R、G、B数据进行转换的处理，并将去马赛克算法(去马赛克算法)后的R、G、B数据输出到RGB/YC转换部36。

RGB/YC转换部36将R、G、B数据转换为亮度数据(亮度信号)Y、色差数据(色差信号)Cr、Cb，并将亮度数据Y输出到轮廓校正部37，将色差数据Cr、Cb输出到色调校正部38。轮廓校正部37进行对亮度数据Y的轮廓部(亮度变化较大的部分)进行强调的处理。色调校正部38进行所输入的色差数据Cr、Cb与2行×2列的颜色校正矩阵系数的矩阵运算，进行实现良好的颜色再现性的颜色校正。颜色校正矩阵系数根据来自用户的颜色校正的指示输入而适当变更。

压缩图像处理部39是基于压缩参数对图像数据进行压缩的图像处理部。本例的压缩图像处理部39基于轮廓校正后的亮度数据Y和色调校正后的色差数据Cr、Cb而进行压缩处理，生成JPEG格式等的压缩图像数据。

在图像处理部22中进行了各种图像处理和图像压缩处理后的压缩图像数据由控制部14进行输出控制，存储于存储器15，或者在显示部16显示缩小图像，或者经由信号输入输出I/F18而输出到外部。

另外，这些线性前处理部31、WB校正部32、曝光校正部33、γ校正部34、去马赛克算法处理部35、RGB/YC转换部36、轮廓校正部37、色调校正部38、压缩图像处理部39由图1的图像处理电路24构成。

在本例中，除了上述的各种图像处理之外，还以适当的时机进行噪声降低处理部25的噪声降低处理。进行噪声降低处理的时机不特别被限定，但是优选为，对被实施了去马赛克算法处理前的各种处理后的数据进行噪声降低处理，能够以去马赛克算法处理(去马赛克算法处理部35)后且图像压缩处理(压缩图像处理部39)前的任意时机(例如，“去马赛克算法处理和RGB/YC转换处理之间”、“RGB/YC转换处理和轮廓校正处理/色调校正处理之间”、“轮廓校正处理/色调校正处理和图像压缩处理之间”等)，进行噪声降低处理。特别是，在进行基于亮度数据的轮廓校正处理(轮廓校正部37)、基于色差数据的色调校正(色调校正部38)等的情况下，有可能通过这些处理对噪声进行强调，因此优选为在这些处理前进行噪声降低处理。

＜噪声降低处理＞

接下来，对噪声降低处理进行说明。

图3是表示噪声降低处理的流程的框图。本例的噪声降低处理包括：前级的实际空间滤波处理部26的实际空间滤波处理(图3的S10：实际空间滤波处理步骤)和后级的颜色空间滤波处理部27的颜色空间滤波处理(S20：颜色空间滤波处理步骤)。

实际空间滤波处理是如下那样的处理：在所输入的图像数据中，基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的“实际空间中的距离”，算出对关注像素和各周边像素的实际空间加权系数，使用该实际空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均，从而算出关注像素的像素数据。

另一方面，颜色空间滤波处理是如下那样的处理：基于多个像素中的关注像素与配置于该关注像素的周边的周边像素的“颜色空间中的距离”，算出对关注像素和各周边像素的颜色空间加权系数，使用该颜色空间加权系数对关注像素的像素数据和周边像素的像素数据进行加权平均，从而算出关注像素的图像数据。

因此，输入到噪声降低处理部25的图像数据在接受了基于实际空间中的距离的实际空间滤波处理后，接受基于颜色空间中的距离的颜色空间滤波处理，由此以图像噪声被降低的状态从噪声降低处理部25输出。

另外，向噪声降低处理部25输入之前的图像数据和从噪声降低处理部25输出后的图像数据被存储保存在存储器15。

＜实际空间滤波处理＞

接下来，对实际空间滤波处理的详细情况进行说明。

在此，所谓的“实际空间中的距离”是反映图像数据的多个像素间的图像中的实际距离的指标，直接或间接地表示处理对象的像素(关注像素)与其他周边的像素(周边像素)的距离。因此，也能够将像素间的实际距离直接地称作“实际空间中的距离”，也能够将使用表示像素间的实际距离的其他指标(参数)而间接地表示像素间的实际距离的参数称作“实际空间中的距离”。

图4是表示多个像素的配置例的示意图。图像数据由多个像素的像素数据的集合构成，该图像数据(各像素数据)在实际空间滤波处理部26中进行图像处理。

关于实际空间滤波处理部26中成为处理的基准的“实际空间中的距离”，例如在图4中以“50A”表示关注像素的情况下，关注像素50A与图4的“周边像素50B”的实际空间中的距离与“3像素”相当，关注像素50A与图4的“周边像素50C”的实际空间中的距离与“5像素”相当。

另外，例如图4的“周边像素50D”与关注像素50A的距离严格地说与“(3²+3²)^1/2像素”相当。其中，周边像素50D配置在相对于关注像素在水平方向和垂直方向上错开3像素的位置，因此也可以设为，对该周边像素50D进行与相对于关注像素的实际空间中的距离相当于“3像素”的其他周边像素(例如像素50B)同样的加权处理。如此，不必一定使用严格的“实际空间中的距离”，也可以间接地使用“实际空间中的距离”而决定实际空间加权系数。

接下来，对于实际空间滤波处理的具体例，说明处理对象的图像数据包含由RGB/YC转换处理(参照图2的RGB/YC转换部36)得到的与亮度相关的图像数据(亮度数据Y)和与色差相关的图像数据(色差数据Cr、Cb)的情况。

实际空间滤波处理部26对所输入的亮度数据和色差数据分别进行实际空间加权系数的计算和加权平均而算出像素数据。

本例的实际空间滤波处理部26所进行的实际空间加权系数的计算和像素数据的加权平均包含边缘保存型的滤波处理，特别是对与色差相关的图像数据，基于边缘保存型的滤波处理而进行实际空间加权系数的计算和像素数据的加权平均。

图5A和图5B是例示在实际空间滤波处理中使用的实际空间滤波器的图。图5A表示将水平一维7抽头滤波器和垂直一维7抽头滤波器组合而成的分离型的实际空间滤波器，图5B表示由水平垂直方向的7×7抽头滤波器形成的行列型(二维)实际空间滤波器。

这些实际空间滤波器中，图5B所示的实际空间滤波器构成边缘保存型的滤波器。即，在使用图5B所示的实际空间滤波器的情况下，如果关注像素(本像素)与周边像素的像素数据之差的绝对值处于预定的阈值以内，则在该集合的范围内算出图像数据(本例中为色差数据)的平均值。因此，与关注像素的像素数据之差的绝对值具有“处于预定的阈值以内的像素数据”的周边像素成为关注像素的像素数据的实际空间滤波处理中的使用对象像素，但是与关注像素的像素数据之差的绝对值具有“超过预定的阈值的像素数据”的周边像素从关注像素的像素数据的实际空间滤波处理中的使用对象像素被除去。

若使用边缘保存型的滤波器，则与使用单纯的实际空间滤波器的情况相比，即使在关注像素和/或周边像素的像素数据包含脉冲强的噪声的情况下，也能够有效地抑制色边界处的渗色、色空缺的发生并能够良好地降低噪声。特别是，通过将边缘保存型的实际空间滤波器进行的实际空间滤波处理与后级的颜色空间滤波处理组合，能够协同地降低高灵敏度摄影时较多地发生的颜色噪声，并且也能够对图像所包含的边缘(色边界部分)良好地进行保存。

在本例中，对亮度数据使用图5A所示的分离型的实际空间滤波器，对色差数据使用图5B所示的行列型的实际空间滤波器。

例如，在将图5A所示的分离型的实际空间滤波器适用于亮度数据的情况下，对处理对象的关注像素和周边像素进行基于图5A所示的加权系数(实际空间加权系数：实际空间滤波系数)的加权平均运算。即，关于水平方向，将对关注像素的加权系数设定为“4”，将对与相对于关注像素错开1像素量的位置相邻的周边像素的加权系数设定为“3”，将对相对于关注像素在水平方向上错开2像素量的位置的周边像素的加权系数设定为“2”，将对相对于关注像素在水平方向上错开2像素量的位置的周边像素的加权系数设定为“1”。将使这些加权系数与对应的像素的亮度数据(像素值)之积除以加权系数的总和而得到的值作为关注像素的亮度数据(像素值)而分配。同样地，关于垂直方向也进行对关注像素和周边像素的加权系数的计算和加权平均的计算，并作为关注像素的亮度数据(像素值)而分配。对亮度数据的实际空间滤波处理的使边缘(边界部)明确的效果较高。

通过组合水平一维滤波器和垂直一维滤波器的两滤波器的运算，能够使运算处理电路的结构比较简单，另一方面，能够实质地关于包含关注像素的水平垂直方向(二维)而进行实际空间滤波处理。

另一方面，在将图5B所示的行列型的实际空间滤波器适用于色差数据的情况下，对处理对象的关注像素和周边像素进行基于图5B所示的加权系数(颜色空间加权系数：滤波系数)的加权平均运算。在图5B所示的例子中，对包含关注像素的M×M像素(本例中为M＝7)的全部将加权系数设定为“1”，将使这些加权系数与对应的像素的色差数据(像素值)之积除以加权系数的总和而得到的值作为关注像素的色差数据(像素值)而分配。

特别是，在本例中，构成图5B所示的实际空间滤波器作为上述的边缘保存型的滤波器，如果关注像素(本像素)与周边像素的差的绝对值处于预定的阈值以内，则在该集合的范围内算出图像数据(本例中为色差数据)的平均值。

实际空间滤波处理部26一边依次切换关注像素，一边将使用了上述的图5A和图5B所示的滤波器的实际空间滤波处理适用于全部像素的亮度数据和色差数据。由此，能够算出实施了实际空间滤波处理后的图像数据(亮度数据和色差数据)。从实际空间滤波处理部26输出的图像数据(亮度数据和色差数据)被发送到后级的颜色空间滤波处理部27，另外也可以保存于存储器15。

另外，上述的实际空间滤波处理不过是例示，也可以在实际空间滤波处理部26中进行基于实际空间中的距离的其他处理。例如图5A和图5B所示的实际空间滤波器的滤波系数不过是一例，也可以根据其他图像处理、图像数据的摄影条件(ISO感光度、白平衡校正值等)等而将其他滤波系数适当分配于关注像素和周边像素的各像素。另外，图5A和图5B所示的实际空间滤波器使用包含关注像素的7×7像素的像素值，但是也可以使用更多或更少像素数的像素值。

另外，在上述的例子中说明了仅对色差数据适用边缘保存型的实际空间滤波器的例子，但是只要是至少对色差数据基于边缘保存型的滤波处理进行实际空间加权系数的计算和加权平均即可。因此，即使对亮度数据也可以适用图5B所示那样的边缘保存型的实际空间滤波器。

＜颜色空间滤波处理＞

接下来，对颜色空间滤波处理的具体例进行说明。

在本例中，使用了基于亮度(Y)和色差(Cb/Cr)的颜色空间并输入到颜色空间滤波处理部27的处理对象的图像数据包括亮度数据和色差数据。颜色空间滤波处理部27被输入亮度数据和色差数据，并使用亮度数据，对色差数据进行颜色空间加权系数的计算和加权平均而算出像素数据。

即，颜色空间滤波处理部27使用实际空间滤波处理部26所算出的像素数据(亮度数据、色差数据)作为“为了求出关注像素与周边像素的颜色空间中的距离而使用的像素数据”和“为了基于颜色空间加权系数的加权平均而使用的像素数据”。实际空间滤波处理部26所算出的像素数据(亮度数据、色差数据)可以从实际空间滤波处理部26直接发送到颜色空间滤波处理部27，也可以从保存有实际空间滤波处理后的图像数据的存储器15由颜色空间滤波处理部27、控制部14读出而输入到颜色空间滤波处理部27。

首先，参照图6A至图6D对颜色空间滤波处理的概念进行说明。

图6A至图6D是表示基于颜色空间中的距离的噪声降低处理的一例的概念图。在图6A至图6D中，示出了从Y(亮度)、Cb/Cr(色差)的彩色图像取出任意的处理范围(在图6A中，包含中央的关注像素和其周围的周边像素的5×5像素的范围)的图像数据(像素数据)的情况。

图6B表示将该取出的处理范围的全部像素(5×5像素)绘制在Y/Cb/Cr颜色空间上的一例。

假设，若所取出的处理范围是平坦的图像(各像素的亮度、色调、色度分别相同)，则颜色空间上绘制的数据离散为近似于正态分布的形状。若将该离散假想为噪声，则减小离散能够降低噪声。由于噪声在颜色空间中具有近似于正态分布的离散，因此在离散的中心处数据的密度最高，越从离散的中心远离则数据的密度越低。

据此，将所取出的处理范围的中心像素设为关注像素(对象像素)，计算关注像素与处理范围内的全部像素(也包括关注像素)的颜色空间上的距离(参照图6C)。

并且，认为越是颜色空间上的距离接近于关注像素的周边像素则越有用，从而越增大对该周边像素的像素数据的加权。如此，对全部像素(5×5像素)的各像素求出与颜色空间中的距离对应的加权系数(颜色空间加权系数：颜色空间滤波系数)，并使用所求出的加权系数对全部像素(5×5像素)的图像数据(像素数据)进行加权平均，从而算出关注像素的图像数据。

由此，能够使关注像素的图像数据接近于颜色空间中密度较高的一方。通过将这种颜色空间滤波处理同样地适用于全部像素，能够减小颜色空间中的图像整体的离散，从而降低噪声(图6D)。

另外，在上述处理范围处于边缘上的情况下，在颜色空间上绘制的图像数据被分为多个像素组(多个集群)。在关注像素属于某个像素组的情况下，构成该像素组的像素与关注像素的距离较近，因此加权系数变大，构成其他像素组的像素距关注像素的距离较远，因此加权系数变小。其结果为，被加权平均后的关注像素的图像数据(像素数据)不被平滑，边缘被良好地保持。

例如高灵敏度摄影时等，图像噪声较多地发生，因此以颜色空间中的离散较大的状态分布各像素数据，图6A至图6D表示如上述那样使关注像素接近于出现频率较高的方向，从而能够抑制整体的离散而进行噪声降低。

接下来，对颜色空间滤波处理的具体的处理例进行说明。

图7是表示实际空间滤波处理和颜色空间滤波处理的关系的图，图8是表示颜色空间滤波用滤波系数的计算的流程的图。

输入图像数据(亮度数据Y、色差数据Cb、Cr)在实际空间滤波处理部26中接受实际空间滤波处理(图7的S10)，并输出到颜色空间滤波处理部27。

在颜色空间滤波处理部27中进行颜色空间滤波处理(S20)。具体来说，根据输入到颜色空间滤波处理部27的图像数据(亮度数据Y、色差数据Cb、Cr)算出颜色空间滤波用滤波系数(S21)，使用该颜色空间滤波用滤波系数而进行颜色空间上的滤波系数的加权平均处理(S22)。

颜色空间滤波用滤波系数的计算的步骤(S21)包括对亮度数据和色差数据分别算出颜色空间上的距离的工序(图8的S211)、算出与亮度数据和色差数据相关的颜色空间上的距离的加权和的工序(S212)及求出和与亮度数据和色差数据相关的颜色空间上的距离的加权和对应的加权(颜色空间滤波用滤波系数)的工序(S213)。

对于这些S211～S233的一例，参照以下的式(1)～(4)进行说明。

＜式(1)＞

d_y＝|本像素的Y数据像素值－周边像素的Y数据像素值|×系数A

＜式(2)＞

d_cb＝|本像素的Cb数据像素值－周边像素的Cb数据像素值|×系数B

＜式(3)＞

d_cr＝|本像素的Cr数据像素值－周边像素的Cr数据像素值|×系数C

＜式(4)＞

Dc＝系数X×(d_y+d_cb+d_cr)

与亮度数据和色差数据的各数据相关而算出颜色空间上的距离的工序(S211)由颜色空间滤波处理部27的距离计算电路进行。具体来说，使用以关注像素为中心的预定的处理区域(从图6A到图6D中为5×5像素的处理区域)的Y/Cb/Cr的图像数据，利用上述式(1)～式(3)算出关注像素与其周边像素的Y/Cb/Cr颜色空间上的距离d_y、d_cb、d_cr。

即，关于Y/Cb/Cr的图像数据的各图像数据，求出关注像素(本像素)的像素数据与周边像素的像素数据之差的绝对值(差的绝对值：颜色空间上的距离)，对Y图像数据(亮度数据)的差的绝对值乘以系数A而求出与Y相关的颜色空间上的距离d_y，对Cb图像数据(色差数据)的差的绝对值乘以系数B而求出与Cb相关的颜色空间上的距离d_cb，对Cr图像数据(色差数据)的差的绝对值乘以系数C而求出与Cr相关的颜色空间上的距离d_cr。

并且，距离计算电路利用上述式(4)算出与亮度数据和色差数据相关的颜色空间上的距离的加权和(S212)。即，求出与Y/Cb/Cr的图像数据的各图像数据相关而算出的Y/Cb/Cr颜色空间上的距离d_y、d_cb、d_cr的和，对该和乘以系数X，而求出相对于周边像素的关注像素的Y/Cb/Cr颜色空间上的距离Dc。

另外，在上式(1)～式(4)中使用的系数A、B、C和X是对各像素数据的加权进行决定的值，可以设为基于具体的装置、摄影环境等而分别确定的设计值。例如，在颜色空间滤波处理中，在重视Y(亮度)的影响的情况下，式(1)中的系数A的值相对变大，另外，在重视Cb(色差)的影响的情况下，式(2)中的系数B的值相对变大，另外，在重视Cr(色差)的影响的情况下，式(3)中的系数C的值相对变大。另外，重视颜色空间滤波处理中的、这些图像数据(亮度数据/色差数据)整体的影响的情况下，式(4)中的系数X的值相对变大。另一方面，在降低各像素数据的加权的影响的情况下，这些系数A、B、C和X中的对应的系数相对变小。

并且，在颜色空间滤波处理部27的加权系数计算电路中进行求出与和亮度数据及色差数据相关的颜色空间上的距离的加权和Dc对应的加权(颜色空间滤波用滤波系数)的工序(S213)。

图9是表示颜色空间上的距离和加权系数的关系的坐标图的一例，X轴表示颜色空间上的距离(评价值：基于式(4)的计算结果Dc)，Y轴表示颜色空间滤波用的滤波系数(对象像素的加权)。

如图9所示，加权系数计算电路中，以与关注像素的颜色空间上的距离较近的周边像素的加权系数(颜色空间滤波用滤波系数)变大的方式，并且以距离较远的周边像素的加权系数变小的方式，导出加权系数。另外，在求出本像素的加权系数的情况下，通过上式(1)～式(4)算出的颜色空间上的距离d_y、d_cb、d_cr、D_c均被视为“0”，对本像素分配最大的加权系数。另外，也可以是，将对本像素分配的加权系数设为“0”，根据本像素以外的周边像素的像素数据决定本像素的像素值。

可以设为，加权系数计算电路对图9的坐标图所示那样的“颜色空间上的距离(评价值)－加权系数(滤波系数)”的函数进行存储，在该函数中代入颜色空间上的距离而算出加权系数，也可以设为，具备对图9的坐标图所示的输入输出关系进行了存储的查询表(LUT)，从该LUT读出与颜色空间上的距离对应的加权系数。

这些一系列的过程对作为对象的关注像素和周边像素的全部像素(从图6A至图6D中为5×5像素)的各像素而进行，算出对关注像素和各周边像素的颜色空间滤波用的滤波系数。

颜色空间滤波处理部27的加权平均处理电路使用所算出的颜色空间滤波用滤波系数，而对色差(Cb、Cr)数据进行基于颜色空间上的滤波系数的加权平均处理(S22)。即，加权平均处理电路使用由加权系数计算电路算出的关注像素和周边像素的加权系数而对各像素的图像数据(色差像素值)进行加权平均，算出关注像素的噪声除去处理后的像素值。将关注像素的图像上的位置设为(x，y)，如图6A至图6D所示将5×5像素设为颜色空间滤波处理的对象像素的情况下，加权平均处理电路进行下式的运算。

＜式(5)＞

[数学式1]

(其中，－2≤i≤2，－2≤j≤2)

颜色空间滤波处理部27所具有的上述距离计算电路、加权系数计算电路和加权平均处理电路使关注像素的图像上的位置(x，y)移动并遍及彩色图像(图像数据)的全部像素进行处理。由此，在颜色空间滤波处理部27中算出与色差(Cb，Cr)相关的图像数据。

如上述那样，输入到噪声降低处理部25的图像数据(亮度数据/色差数据)经由实际空间滤波处理和颜色空间滤波处理，从噪声降低处理部25输出实际空间滤波处理部26中的处理后的亮度数据和颜色空间滤波处理部27中的处理后的色差数据。

在噪声降低处理部25中进行了噪声的降低处理后的Y/Cb/Cr的图像数据以预定的压缩图像数据(例如JPEG形式)被压缩(参照图2的压缩图像处理部39)，并进行向记录介质的记录等。

如以上说明那样，根据本实施方式，在颜色空间滤波处理之前，进行包括“边缘保存型的滤波处理”的实际空间滤波处理。并且，使用该边缘保存型的实际空间滤波处理后的图像数据(像素数据)在后级进行颜色空间滤波处理。通过将“边缘保存型的实际空间滤波处理”和“颜色空间滤波处理”组合，能够良好地维持边缘的保存性且增大噪声降低的效果。

＜变形例＞

以上，对本发明的优选实施方式进行了说明，但是本发明不限于上述的实施方式，对其他形态也能够适当应用。

例如，在上述的实施方式中，说明了使用由实际空间滤波处理部算出的像素数据作为在颜色空间滤波处理部27中使用的像素数据的例子，但是在颜色空间滤波处理部27中使用的像素数据中的至少关注像素的像素数据是由实际空间滤波处理部算出的像素数据即可。

因此，颜色空间滤波处理部27为了求出关注像素与周边像素的颜色空间中的距离而使用的像素数据中，“关注像素的像素数据”是根据实际空间滤波处理部26所输入的图像数据而算出的像素数据，而“周边像素的像素数据”可以是构成向实际空间滤波处理部26输入之前的图像数据的像素数据。

另外，颜色空间滤波处理部27为了进行基于颜色空间加权系数的加权平均而使用的像素数据中，“关注像素的像素数据”是根据实际空间滤波处理部26所输入的图像数据而算出的像素数据，而“周边像素的像素数据”也可以是构成向实际空间滤波处理部26输入之前的图像数据的像素数据。

如此，作为周边像素的像素数据，通过使用构成向实际空间滤波处理部26输入之前的图像数据的像素数据，具有在维持图像本来的细节方面较为有效的一面。另外，构成向实际空间滤波处理部26输入之前的图像数据的像素数据被保存在存储器15，由控制部14、颜色空间滤波处理部27从存储器15适当读出，从而能够获取。

另外，在上述的实施方式中，成为在实际空间滤波处理部26和颜色空间滤波处理部27的各处理部中使用的像素数据的对象的周边像素彼此相邻(7×7像素，5×5像素)与成为在实际空间滤波处理部26和颜色空间滤波处理部27的各处理部中使用的像素数据的对象的关注像素和其他周边像素中的至少任一像素相邻。然而，周边像素未必一定彼此相邻，也可以使用离散配置的周边像素。

图10是表示颜色空间滤波处理部27中的关注像素和周边像素的其他配置例的图。在图10中，中央的关注像素50A和周边像素50E由7×7(＝49)像素构成，在水平方向和垂直方向上并排配置的关注像素和周边像素分离相当于五个像素而配置。因此，成为在颜色空间滤波处理部27中使用的像素数据的对象的各周边像素50E与成为在颜色空间滤波处理部27中使用的像素数据的对象的关注像素50A和其他周边像素50E均不相邻。

通过使用离散配置的周边像素，能够抑制颜色空间滤波处理的运算量并且基于广范围的图像数据进行颜色空间滤波处理。图像数据中的颜色成分(包含色差成分)通常具有成为低频成分的倾向，因此基于遍及图10所示的广范围的图像数据而进行与颜色成分相关的图像数据的颜色空间滤波处理，从而能够期待更优秀的噪声降低效果。

另外在上述的实施方式中，对颜色空间基于亮度/色差(Y/Cb/Cr)数据的情况进行了说明，但是颜色空间也可以由其他颜色要素规定，例如也可以使用基于RGB的颜色空间。优选为，在该情况下，在实际空间滤波处理部26和颜色空间滤波处理部27输入RGB的各图像数据，对RGB的各图像数据实施实际空间滤波处理和颜色空间滤波处理。另外，在该情况下，优选为，颜色空间滤波处理部27基于与RGB的全部颜色相关的颜色空间上的距离的总和而进行颜色空间滤波处理。如此，在进行RGB数据的图像处理的情况下也能够对RGB间的数据的离散进行抑制，并能够有效地降低颜色噪声和亮度噪声。

在将RGB的图像数据输入到实际空间滤波处理部26和颜色空间滤波处理部27的情况下，可以在去马赛克算法处理(参照图2的去马赛克算法处理部35)的前后任一方进行噪声降低处理，但是在去马赛克算法处理后进行噪声降低处理能够将处理过程单纯化。

另外，在实际空间滤波处理部26和颜色空间滤波处理部27中的处理对象是RGB的图像数据的情况下，也可以除了与RGB的颜色相关的图像数据之外进一步使用与亮度相关的图像数据。在该情况下，实际空间滤波处理部26对与亮度Y相关的图像数据和与颜色相关的图像数据中的至少与颜色相关的图像数据，基于边缘保存型的滤波处理进行实际空间加权系数的计算和像素数据的加权平均。另外，颜色空间滤波处理部27使用实际空间滤波处理部26所算出的与RGB的颜色相关的图像数据和与亮度Y相关的图像数据，而根据关注像素和周边像素的像素数据求出颜色空间上的距离，并进行基于该距离的加权平均处理。如此，即使在取代色差数据而进行RGB数据的图像处理的情况下，也使用亮度数据而进行颜色空间滤波处理，从而能够有效地抑制RGB间的数据的离散而降低噪声。

另外，在上述的实施方式中对周边像素的范围被设定为5×5像素或7×7像素的例子进行了说明，但是周边像素的范围不限定于该范围，也可以设为基于对图像数据进行摄像获取的摄影模式、摄影条件等而对大小不同的多个处理范围中的任一处理范围进行选择。例如，在以高灵敏度进行摄影的情况下，图像信号的增益提高而噪声变大，因此优选通过处理范围选择电路，在高灵敏度摄影时选择较大的处理范围作为包含关注像素和周边像素的处理范围。通过如此增大处理范围，能够基于广范围的周边像素的信息进行关注像素的噪声降低处理，因此能够期待较大的噪声降低效果。另一方面，在连拍模式等那样增大处理速度的情况下、低耗电模式的情况下，为了减少图像处理量，优选通过处理范围选择电路，选择较小的处理范围作为包含关注像素和周边像素的处理范围。

另外，在上述的实施方式中对进行基于单一的颜色空间(YCbCr颜色空间或RGB颜色空间)的颜色空间滤波处理的例子进行了说明，但是也可以将多个类型的颜色空间滤波处理组合。例如，颜色空间滤波处理部27能够进行“基于RGB颜色空间的RGB数据的颜色空间滤波处理”和“基于YCbCr颜色空间的亮度数据/色差数据的颜色空间滤波处理”这两个处理。即，也可以在RGB/YC转换处理(参照图2的RGB/YC转换部36)之前进行“基于RGB颜色空间的RGB数据的颜色空间滤波处理”，在RGB/YC转换处理之后进行“基于YCbCr颜色空间的亮度数据/色差数据的颜色空间滤波处理”。如此，通过进行不同的颜色空间的噪声降低处理，能够有效地降低特性不同的噪声。

另外，颜色空间滤波处理部27也可以对应每个颜色信道设定不同的加权系数。例如，在高灵敏度摄影时颜色噪声变得显著，因此颜色空间滤波处理部27使得高灵敏度摄影时的对色差数据Cb、Cr的加权系数比普通摄影时大。另一方面，若对亮度数据进行边缘强调处理，则亮度数据的噪声变大，因此也可以设为，在普通摄影时也使得对亮度数据的加权系数比对色差数据的加权系数大。

另外，在颜色空间滤波处理中，也可以重视颜色空间上的距离是中距离的周边像素，并以对中距离的周边像素的加权系数变大的方式算出加权系数。通过增大颜色空间上的距离是近距离的周边像素(包含关注像素)的像素值的加权能够降低同样地分布的噪声，但是脉冲性较强的噪声容易自己受到自身(关注像素)的像素值的影响，因此在同样的处理中噪声的降低效果会变小。通过增大对颜色空间上的距离是中距离的周边像素的加权系数，即使在关注像素的像素数据包含脉冲性较强的噪声成分的情况下也难以受到其影响，能够增大噪声降低效果。

另外，颜色空间滤波处理部27也可以包含进行非线形转换的非线形转换电路，通过该非线形转换电路，能够使比较弱的噪声残留于图像数据，另一方面能够将比较强的噪声从图像数据中除去。即，在非线形转换电路中，将实施颜色空间滤波处理前的图像数据(原始图像数据)与实施了颜色空间滤波处理后的图像数据(处理后图像数据)相减，从而算出表示噪声成分的差值(相减值)。该差值中的值比较小的表示较弱噪声的部分不被输出，仅将值比较大的表示较强噪声的部分从非线形转换电路输出。也可以设为，将来自该非线形转换电路的输出值在相减电路中适用于原始图像数据，仅将较强的噪声成分从原始图像数据减去。如此，通过使比较弱的噪声成分残留于图像数据，能够保留图像的细节，另外能够将视觉上明显比较强的噪声成分从图像数据中除去。

另外，在上述实施方式中对数码相机进行了说明，但是摄影装置的结构不限于此。作为能够适用本发明的其他摄影装置(摄像装置)，例如，能够设为内置型或外附带型的PC用相机、或者具有摄影功能的便携式终端装置。另外，也可以将本发明适用于使计算机执行上述的各处理步骤的程序。若从摄像装置向适用了本发明的计算机(包括安装了执行各处理步骤的程序的计算机)发送图像数据(RAW数据、压缩图像数据等)，则在该计算机中进行上述的噪声降低处理等。

作为具备本发明的图像处理装置的便携式终端装置的例子，可以列举出手机、智能手机、PDA(PersonalDigitalAssistants：个人数字助理)、便携式游戏机。

＜智能手机的结构＞

图11是表示作为本发明的摄影装置的一实施方式的智能手机101的外观的图。图11所示的智能手机101具有平板状的壳体102，并在壳体102的一面具备作为显示部的显示面板121和作为输入部的操作面板122成为一体的显示输入部120。另外，所涉及的壳体102具备扬声器131、麦克风132、操作部140和相机部141。另外，壳体102的结构不限于此，例如，也能够采用显示部和输入部独立的结构，或采用具有折叠构造、滑动机构的结构。

图12是表示图11所示的智能手机101的结构的框图。如图12所示，作为智能手机的主要的结构要素，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(GlobalPositioningSystem：全球定位系统)接收部170、运动传感器部180、电源部190和主控制部100。另外，作为智能手机101的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。

无线通信部110按照主控制部100的指示，对收容于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行音声数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部120是通过主控制部101的控制而对图像(静止图像和动态图像)、文字信息等进行显示从而视觉性地向用户传递信息并且对与所显示的信息对应的用户操作进行检测的、所谓的触摸面板，具备显示面板121和操作面板122。

显示面板121是将LCD(LiquidCrystalDisplay：液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay：有机发光显示器)等作为显示装置而使用的器件。操作面板122是将显示面板121的显示面上所显示的图像载置成能够视觉辨认，并对由用户的手指、尖笔操作的1个或多个坐标进行检测的装置。若利用用户的手指、尖笔对该装置进行操作，则将由于操作而产生的检测信号输出到主控制部100。接下来，主控制部100基于接收到的检测信号，对显示面板121上的操作位置(坐标)进行检测。

如图11所示，作为本发明的摄影装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120，但是操作面板122成为对显示面板121完全地进行覆盖那样的配置。在采用该配置的情况下，操作面板122对于显示面板121外的区域也可以具备对用户操作进行检测的功能。换言之，操作面板122也可以具备关于与显示面板121重合的重叠部分的检测区域(以下，称作显示区域)和关于除此以外的不与显示面板121重合的外边缘部分的检测区域(以下，称作非显示区域)。

另外，虽然也可以使显示区域的大小和显示面板121的大小完全一致，但是也没有必要必须使两者一致。另外，操作面板122也可以具备外边缘部分和除此以外的内侧部分这两个感应区域。此外，根据壳体102的大小等而适当设计外边缘部分的宽度。此外，另外，作为由操作面板122所采用的位置检测方式，能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一种方式。

通话部130具备扬声器131和麦克风132，将通过麦克风132而输入的用户的声音转换为能够由主控制部100处理的声音数据而输出到主控制部100，或对由无线通信部110或外部输入输出部160接收到的声音数据进行解码而从扬声器131输出。另外，如图11所示，例如，能够将扬声器131搭载于与设有显示输入部120的面相同的面，并将麦克风132搭载于壳体102的侧面。

操作部140可以是使用键开关等的硬件键，接受来自用户的指示。例如，如图11所示，操作部140是如下的按钮式的开关：搭载于智能手机101的壳体102的侧面，若利用手指等按下则接通，若使手指离开则通过弹簧等的恢复力而成为断开状态。

存储部150对主控制部100的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等建立对应关系的地址数据、收发的电子邮件的数据、利用Web浏览下载的Web数据、下载的内容数据进行存储，并对流数据等暂时性地进行存储。另外，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各内部存储部151和外部存储部152使用闪存型(flashmemorytype)、硬盘型(harddisktype)、缩微多媒体卡型(multimediacardmicrotype)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)等存储介质而实现。

外部输入输出部160起到与连接于智能手机101的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙Bluetooth(注册商标)、RFID(RadioFrequencyIdentification：无线射频识别)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。

作为与智能手机101连接的外部设备，例如具有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受了传送后的数据传递到智能手机101的内部的各结构要素，并能够将智能手机101的内部的数据传送到外部设备。

GPS接收部170按照主控制部100的指示，对从GPS卫星ST1～STn发送的GPS信号进行接收，并执行基于接收到的多个GPS信号的测位运算处理，对该智能手机101的由纬度、经度、高度构成的位置进行检测。GPS接收部170在能够从无线通信部110、外部输入输出部160(例如无线LAN)获取位置信息时，也能够使用该位置信息对位置进行检测。

运动传感器部180例如具备三轴加速度传感器等，能够按照主控制部100的指示，对智能手机101的物理性的移动进行检测。通过对智能手机101的物理性的移动进行检测，能够检测智能手机101的移动方向、加速度。该检测结果被输出到主控制部100。

电源部190按照主控制部100的指示将蓄积于蓄电池(未图示)的电力供给到智能手机101的各部。

主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据而动作，对智能手机101的各部集中地进行控制。另外，主控制部100为了通过无线通信部110进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。

按照存储部150所存储的应用软件使主控制部100动作从而实现应用处理功能。作为应用处理功能，例如，具有：对外部输入输出部160进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能等。

另外，主控制部100具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部120显示等的图像处理功能。所谓图像处理功能是指，主控制部100对上述图像数据进行解码，对该解码结果实施图像处理，从而将图像在显示输入部120上显示的功能。

此外，主控制部100执行对显示面板121的显示控制和对通过了操作部140、操作面板122的用户操作进行检测的操作检测控制。

通过显示控制的执行，主控制部100对用于启动应用软件的图标、滚动条等软件键进行显示，或显示用于生成电子邮件的窗口。另外，所谓滚动条，是指对于没有完全收纳到显示面板121的显示区域的较大的图像等，用于接受使图像的显示部分移动的指示的软件键。

另外，通过操作检测控制的执行，主控制部100对通过了操作部140的用户操作进行检测，通过操作面板122接受对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接受通过滚动条的显示图像的滚动要求。

此外，通过操作检测控制的执行，主控制部100具备判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外边缘部分(非显示区域)，并对操作面板122的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

另外，主控制部100检测对操作面板122的手势操作，根据检测出的手势操作，能够执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹或对多个位置同时进行指定、或将它们组合而从多个位置对至少一个位置描绘轨迹的操作。

相机部141是使用CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)、CCD(Charge-CoupledDevice：电荷耦合设备)等摄像元件进行电子摄影的数码相机。另外，相机部141能够通过主控制部100的控制，将通过摄像所得到的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup：联合图像专家小组)等压缩后的图像数据，记录于存储部150，或通过输入输出部160、无线通信部110而输出。如图11所示在智能手机101中，将相机部141搭载于与显示输入部120相同的面，但是相机部141的搭载位置不限于此，也可以搭载于显示输入部120的背面，或者搭载多个相机部141。另外，在搭载多个相机部141的情况下，也能够对提供摄影的相机部141进行切换而单独地进行摄影，或同时使用多个相机部141而进行摄影。

另外，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121显示由相机部141获取的图像、能够利用相机部141的图像作为操作面板122的操作输入之一。另外，在GPS接收部170对位置进行检测时，也能够对来自相机部141的图像进行参照而对位置进行检测。此外，也能够参照来自相机部141的图像，不使用三轴加速度传感器或与三轴加速度传感器并用，判断智能手机101的相机部141的光轴方向、判断当前的使用环境。当然也能够在应用软件内利用来自相机部141的图像。

此外，也能够在静止画面或动态画面的图像数据附加由GPS接收部170获取的位置信息、由麦克风132获取的声音信息(也可以利用主控制部等进行声音文本转换而成为文本信息)、由运动传感器部180获取的姿势信息等而记录于存储部150，或者通过输入输出部160、无线通信部110而输出。

附图标记说明

10…摄像装置，11…摄像部，12…透镜，13…摄像元件，14…控制部，15…存储器，16…显示部，17…操作部，18…信号输入输出I/F，22…图像处理部，24…图像处理电路，25…噪声降低处理部，26…实际空间滤波处理部，27…颜色空间滤波处理部，31…线性前处理部，32…WB校正部，33…曝光校正部，34…γ校正部，35…去马赛克算法处理部，36…RGB/YC转换部，37…轮廓校正部，38…色调校正部，39…压缩图像处理部，100…主控制部，101…智能手机，102…壳体，110…无线通信部，120…显示输入部，121…显示面板，122…操作面板，130…通话部，131…扬声器，132…麦克风，140…操作部，141…相机部，150…存储部，151…内部存储部，152…外部存储部，160…外部输入输出部，170…GPS接收部，180…运动传感器部。

Claims

1.一种图像处理装置，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理装置具备：

实际空间滤波处理部，在所输入的图像数据中，基于所述多个像素中的关注像素与配置于该关注像素的周边的周边像素的实际空间中的距离算出对各周边像素的实际空间加权系数，使用该实际空间加权系数对所述关注像素的像素数据和所述周边像素的像素数据进行加权平均而算出所述关注像素的像素数据；及

颜色空间滤波处理部，基于所述多个像素中的关注像素与配置于该关注像素的周边的周边像素的颜色空间中的距离算出对各周边像素的颜色空间加权系数，使用该颜色空间加权系数对所述关注像素的像素数据和所述周边像素的像素数据进行加权平均而算出所述关注像素的像素数据，

所述实际空间滤波处理部所进行的所述实际空间加权系数的计算和像素数据的所述加权平均基于边缘保存型的滤波处理，

所述颜色空间滤波处理部中使用的所述像素数据中的至少所述关注像素的像素数据是由所述实际空间滤波处理部算出的所述像素数据，

所述颜色空间滤波处理部为了基于所述颜色空间加权系数的所述加权平均而使用的像素数据中，所述关注像素的像素数据是所述实际空间滤波处理部所算出的所述像素数据，所述周边像素的像素数据是构成向所述实际空间滤波处理部输入之前的图像数据的像素数据。

2.一种图像处理装置，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理装置具备：

成为在所述颜色空间滤波处理部中使用的所述像素数据的对象的所述关注像素和所述周边像素彼此不相邻。

3.一种图像处理装置，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理装置具备：

所述颜色空间基于亮度和色差，

所述实际空间滤波处理部被输入与亮度相关的图像数据和与色差相关的图像数据，对所述与亮度相关的图像数据和所述与色差相关的图像数据分别进行所述实际空间加权系数的计算和所述加权平均而算出像素数据，

所述颜色空间滤波处理部被输入由所述实际空间滤波处理部所算出的所述像素数据的集合构成的所述与亮度相关的图像数据和所述与色差相关的图像数据，使用该与亮度相关的图像数据，对所述与色差相关的图像数据进行所述颜色空间加权系数的计算和所述加权平均而算出像素数据，

输出基于在所述实际空间滤波处理部中算出的所述像素数据的与亮度相关的图像数据和基于在所述颜色空间滤波处理部中算出的像素数据的与色差相关的图像数据。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述图像数据包含与颜色相关的图像数据，

所述实际空间滤波处理部对所述与颜色相关的图像数据，基于边缘保存型的滤波处理来进行所述实际空间加权系数的计算和像素数据的所述加权平均。

5.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述图像数据包含与亮度相关的图像数据和与色差相关的图像数据，

所述实际空间滤波处理部对所述与亮度相关的图像数据和所述与色差相关的图像数据中的至少所述与色差相关的图像数据，基于边缘保存型的滤波处理来进行所述实际空间加权系数的计算和像素数据的所述加权平均。

6.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述颜色空间滤波处理部为了求出所述关注像素与所述周边像素的颜色空间中的距离而使用的所述像素数据中，所述关注像素的像素数据是所述实际空间滤波处理部所算出的所述像素数据，所述周边像素的像素数据是构成向所述实际空间滤波处理部输入之前的图像数据的像素数据。

7.根据权利要求4所述的图像处理装置，其中，

8.根据权利要求5所述的图像处理装置，其中，

9.根据权利要求2或3所述的图像处理装置，其中，

所述颜色空间滤波处理部使用所述实际空间滤波处理部所算出的所述像素数据，求出所述关注像素与所述周边像素的所述颜色空间中的距离而进行基于所述颜色空间加权系数的所述加权平均。

10.根据权利要求4所述的图像处理装置，其中，

11.根据权利要求5所述的图像处理装置，其中，

12.根据权利要求1或3所述的图像处理装置，其中，

成为在所述实际空间滤波处理部和所述颜色空间滤波处理部的各滤波处理部中使用的所述像素数据的对象的所述关注像素和所述周边像素彼此相邻。

13.根据权利要求1或2所述的图像处理装置，其中，

所述颜色空间基于RGB。

14.一种图像处理方法，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理方法具备：

实际空间滤波处理步骤，在所输入的图像数据中，基于所述多个像素中的关注像素与配置于该关注像素的周边的周边像素的实际空间中的距离算出对各周边像素的实际空间加权系数，使用该实际空间加权系数对所述关注像素的像素数据和所述周边像素的像素数据进行加权平均而算出所述关注像素的像素数据；及

颜色空间滤波处理步骤，基于所述多个像素中的关注像素与配置于该关注像素的周边的周边像素的颜色空间中的距离而算出对各周边像素的颜色空间加权系数，使用该颜色空间加权系数对所述关注像素的像素数据和所述周边像素的像素数据进行加权平均而算出所述关注像素的像素数据，

所述实际空间滤波处理步骤中所进行的所述实际空间加权系数的计算和像素数据的所述加权平均基于边缘保存型的滤波处理，

所述颜色空间滤波处理步骤中使用的所述像素数据中的至少所述关注像素的像素数据是在所述实际空间滤波处理步骤中算出的所述像素数据，

在所述颜色空间滤波处理步骤中为了基于所述颜色空间加权系数的所述加权平均而使用的像素数据中，所述关注像素的像素数据是在所述实际空间滤波处理步骤中算出的所述像素数据，所述周边像素的像素数据是构成所述实际空间滤波处理步骤之前的图像数据的像素数据。

15.一种图像处理方法，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理方法具备：

成为在所述颜色空间滤波处理步骤中使用的所述像素数据的对象的所述关注像素和所述周边像素彼此不相邻。

16.一种图像处理方法，对由多个像素的像素数据的集合构成的图像数据进行处理，所述图像处理方法具备：

所述颜色空间基于亮度和色差，

在所述实际空间滤波处理步骤中，被输入与亮度相关的图像数据和与色差相关的图像数据，对所述与亮度相关的图像数据和所述与色差相关的图像数据分别进行所述实际空间加权系数的计算和所述加权平均而算出像素数据，

在所述颜色空间滤波处理步骤中，被输入由所述实际空间滤波处理步骤所算出的所述像素数据的集合构成的所述与亮度相关的图像数据和所述与色差相关的图像数据，使用该与亮度相关的图像数据，对所述与色差相关的图像数据进行所述颜色空间加权系数的计算和所述加权平均而算出像素数据，

输出基于在所述实际空间滤波处理步骤中算出的所述像素数据的与亮度相关的图像数据和基于在所述颜色空间滤波处理步骤中算出的像素数据的与色差相关的图像数据。