CN101170644A - 摄像装置及图像处理方法 - Google Patents

Abstract

本发明提供一种即使在暗处拍摄时也能够获得低噪声且高分辨率的图像的摄像装置及这种摄像装置中的图像处理方法。摄像元件(102)具有由对相邻的多个像素的电荷进行相加并读出的像素相加读出模式和读出与全部像素对应的电荷的全部像素读出模式构成的多个驱动模式，连续在像素相加读出模式和全部像素读出模式下驱动摄像元件(102)，来取得像素相加图像数据和全尺寸图像数据，从这些像素相加图像数据和全尺寸图像数据中，提取用于识别全尺寸图像数据中的平坦部和边缘部的平坦部信息，使用各自独立设定的滤波参数，在噪声降低处理电路(107f)中对根据该所提取的平坦部信息而识别的全尺寸图像数据中的平坦部和边缘部实施滤波处理，来降低噪声。

Description

摄像装置及图像处理方法

技术领域

本发明涉及摄像装置及其图像处理方法，特别涉及能够降低在暗处拍摄时的图像噪声的摄像装置及其图像处理方法。

背景技术

近年来，可实现高灵敏度拍摄的摄像装置的开发正在进行。这里所谓的高灵敏度拍摄是指，进行通过图像处理将在暗处拍摄时所获得的RAW图像数据的明亮度提高到目标明亮度的处理的拍摄。如果是这种高灵敏度拍摄，则即使是被摄体亮度低的拍摄场景也能够获得明亮的图像。

这里，在以往的高灵敏度拍摄中，因为拍摄所获得的图像的噪声成分也因图像处理而提高，所以作为图像整体，具有成为噪声多的图像的倾向。特别地，因为图像变化少的平坦部的噪声显眼，所以在高灵敏度拍摄中，保持分辨率的同时将平坦部的噪声抑制得较小是重大的课题。

作为其解决对策之一，众所周知有将来自在摄像元件中获得的多个相邻像素的电荷进行相加后读出的像素相加方式。如果是像素相加方式，则即使是光量很少的图像，也能够将噪声量抑制得较小并生成目标明亮度的图像。

在暗处拍摄时，通过使用对相邻的多个像素的电荷进行相加作为一个像素的电荷来处理的像素相加方式，能够将图像的明亮度提高到目标明亮度。但是，在利用像素相加方式获得的图像数据(以下称为像素相加图像数据)中，因为将来自多个像素的电荷(数据)作为一个像素的电荷，所以，所获得的图像数据的像素数减少。因此，与通过直接读出来自摄像元件的全部像素的电荷的全部像素读出方式获得的图像数据(以下称为全尺寸图像数据)相比，像素相加图像数据的图像尺寸小。因此，利用各种插值处理对通过像素相加而减少的部分的像素进行插值，对图像进行尺寸调整，从而避免像素相加造成的图像尺寸的缩小。但是，在该情况下，进行插值处理，会损害图像的分辨率。

所以，提出了仅使用全尺寸图像数据来降低噪声的方法。例如，在专利文献1中，通过边缘提取处理来提取全尺寸图像数据中的轮廓部分(边缘部分)，求出噪声区域的加权数据，利用该加权数据，识别边缘区域和噪声区域，选择性地去除所识别出的噪声区域。

【专利文献1】日本特开2000-175046号公报

这里，在专利文献1中，提取全尺寸图像数据中的边缘部分，但是仅利用边缘提取处理对在暗处拍摄所获得的全尺寸图像数据提取边缘部分是很困难的。因此，对于暗处拍摄，利用专利文献1的方法难以实现噪声的降低。

发明内容

本发明是鉴于上述情况而完成的，其目的在于提供一种摄像装置及这种摄像装置中的图像处理方法，即使在暗处拍摄时，也能够获得低噪声且高分辨率的图像。

为了达成上述目的，本发明第一方式的摄像装置对摄像信号实施图像处理来得到图像数据，其特征在于，该摄像装置具有：摄像元件，其具有至少由像素相加读出模式和全部像素读出模式构成的多个驱动模式，在上述像素相加读出模式中，对相邻的多个像素的电荷进行相加并读出，在上述全部像素读出模式中读出与全部像素对应的电荷；同时摄影部，其同时或连续执行在上述像素相加读出模式下驱动上述摄像元件来取得像素相加图像数据的动作和在上述全部像素读出模式下驱动上述摄像元件来取得全尺寸图像数据的动作；平坦部信息提取部，其从上述像素相加图像数据和上述全尺寸图像数据中，提取用于识别上述全尺寸图像数据中的平坦部和边缘部的平坦部信息；以及噪声降低处理部，其利用各自独立设定的滤波参数，对根据上述所提取的平坦部信息而识别的上述平坦部和上述边缘部实施滤波处理，来降低噪声。

并且，为了达成上述目的，本发明第二方式的图像处理方法对来自具有至少由像素相加读出模式和全部像素读出模式构成的多个驱动模式的摄像元件的输出进行处理，其中在上述像素相加读出模式中，对相邻的多个像素的电荷进行相加并读出，在上述全部像素读出模式中读出与全部像素对应的电荷，其特征在于，同时或连续执行在上述像素相加读出模式下驱动上述摄像元件来取得像素相加图像数据的动作和在上述全部像素读出模式下驱动上述摄像元件来取得全尺寸图像数据的动作；从上述像素相加图像数据和上述全尺寸图像数据中，提取用于识别上述全尺寸图像数据中的平坦部和边缘部的平坦部信息；利用各自独立设定的滤波参数，对根据上述所提取的平坦部信息而识别的上述平坦部和上述边缘部实施滤波处理，来降低噪声。

根据这些第一和第二方式，使用大致同时进行在像素相加读出模式下驱动摄像元件的动作和在全部像素读出模式下驱动摄像元件的动作而得到的全尺寸图像数据和像素相加图像数据，识别全尺寸图像数据中的平坦部和边缘部，利用各自独立设定的滤波参数，对这些平坦部和边缘部进行滤波处理，从而能够得到低噪声且高分辨率的全尺寸图像数据。

根据本发明，能够提供一种即使在暗处拍摄时，也能够获得低噪声且高分辨率的图像的摄像装置及这种摄像装置中的图像处理方法。

附图说明

图1是本发明的第1实施方式的数字静态照相机的框图。

图2是示出噪声降低处理电路的一例的框图。

图3是平坦部信息提取部的框图。

图4(a)是示出像素位置校正处理的流程图的一例，图4(b)是示出像素相加图像数据的边缘成分的一个像素及其周边八个像素的像素位置和像素位移顺序X之间的关系的图。

图5是示出噪声降低处理的流程图。

图6是本发明的第2实施方式的数字静态照相机的框图。

标号说明

101：镜头；102、102a：摄像元件；103、103a：CDS/AGC电路；104、104a：A/D转换部；105：总线；106：SDRAM；107：图像处理部；107a：白平衡(WB)校正电路；107b：同时化电路；107c：颜色转换/颜色再现电路；107d：γ转换电路；107e：边缘提取电路；107f：噪声降低处理电路；107g：插值尺寸调整处理电路；108：JPEG处理部；110：记录介质；111：LCD驱动器；112：LCD；113：微型计算机(CPU)；114：操作部；115：闪存；116：光路分支棱镜；201：像素相加模式图像取得部；202：全部像素读出模式图像取得部；203：平坦部信息提取部；204：噪声降低处理部；205：图像输出部；206：噪声降低处理判定部。

具体实施方式

下面参照附图说明本发明的实施方式。这里，构成在以下实施方式中说明的摄像装置的结构要素的种类、组合、形状、相对配置等，不限于这里所说明的情况。

[第1实施方式]

图1是作为本发明的第1实施方式的摄像装置的一例的数字静态照相机的框图。图1所示的数字静态照相机主要由照相机主体100和镜头101构成。而且，照相机主体100由摄像元件102、CDS(相关双重采样)/AGC(自动增益控制)电路103、A/D转换部104、总线105、SDRAM 106、图像处理部107、JPEG处理部108、存储器I/F 109、记录介质110、LCD驱动器111、LCD 112、微型计算机(CPU)113、操作部114、闪存115构成。

镜头101由用于对来自未图示的被摄体的光学像进行聚光并使其入射到摄像元件102的光学系统、和用于调节入射到摄像元件102的光的入射量的光圈构成。镜头101的各部根据来自CPU 113的指示，由未图示的光圈驱动机构和镜头驱动机构驱动。

摄像元件102是将拜尔(bayer)排列的滤色器配置在构成像素的光电二极管的前表面而构成的摄像元件，通过镜头101被聚光的光被构成各像素的光电二极管受光，进行光电转换，从而将光量作为电荷量输出到CDS/AGC电路103。这里，拜尔排列是通过如下方式构成的像素排列，即，在垂直方向上交替配置在水平方向交替配置R像素和G(Gr)像素的行、以及在水平方向交替配置G(Gb)像素和B像素的行。另外，摄像元件102可以是CMOS方式，也可以是CCD方式。

在第1实施方式中，假设摄像元件102可在至少由像素相加读出模式和全部像素读出模式构成的多个驱动模式下驱动。像素相加读出模式是对相邻的多个像素的电荷进行相加后读出的驱动模式。并且，全部像素读出模式是读出所有来自摄像元件的有效像素的电荷的驱动模式。

CDS(相关双重采样)/AGC(自动增益控制)电路103在对从摄像元件102读出的电信号(模拟图像信号)降低了复位噪声等之后进行波形整形，进而进行增益放大，以使图像的明亮度成为目标明亮度。A/D转换部104将在CDS/AGC电路103中进行了预处理的模拟图像信号转换为数字图像信号(以下称为图像数据)。

总线105是用于将在照相机内部产生的各种数据传送到照相机内的各部的传送路径，与A/D转换部104、SDRAM 106、图像处理部107、JPEG处理部108、存储器I/F 109、LCD驱动器111、CPU 113连接。通过A/D转换部104得到的图像数据经由总线105临时存储在SDRAM 106中。SDRAM 106是临时存储在A/D转换部104中得到的图像数据或在图像处理部107、JPEG处理部108中处理的图像数据等各种数据的存储部。

图像处理部107读出存储在SDRAM 106中的图像数据并对其实施图像处理。该图像处理部107包括WB校正电路107a、同时化电路107b、颜色转换/颜色再现电路107c、γ转换电路107d、边缘提取电路107e、噪声降低处理电路107f、插值尺寸调整处理电路107g。

白平衡(WB)校正电路107a通过对从SDRAM 106读出的图像数据中的R数据和B数据乘以从CPU 113指示的白平衡增益，来进行白平衡校正。同时化电路107b根据从WB校正电路107a输出的图像数据，生成将R、G、B三色作为一个像素成分的图像数据。颜色转换/颜色再现电路107c进行对从同时化电路107b输出的图像数据乘以从CPU 113指示的色彩矩阵的线性转换，来校正图像数据的颜色，并且，使用从CPU 113指示的色度/色调系数，通过运算使图像的颜色变化。γ转换电路107d对从颜色转换/颜色再现电路107c输出的图像数据实施伽玛转换(灰度转换)处理，校正图像数据的灰度，以使其适合于显示或印刷。

边缘提取电路107e使用从CPU 113指示的BPF(带通滤波)系数，提取图像数据中的轮廓(边缘)成分。作为平坦部信息提取部和噪声降低处理部的噪声降低处理电路107f利用从CPU 113指示的滤波参数对图像数据实施滤波处理，从而降低图像数据中的噪声。插值尺寸调整处理电路107g进行图像数据的插值处理和用于调整输出尺寸的尺寸调整处理。

在以上这样的图像处理部107中实施了图像处理的图像数据再次存储在SDRAM 106中。

JPEG处理部108从SDRAM 106中读出进行了图像处理的图像数据，按照JPEG方式等进行压缩。并且，JPEG处理部108具有读出记录在记录介质110中的JPEG压缩图像数据并实施解压缩处理的功能。由JPEG处理部108压缩后的图像数据存储在SDRAM 106中后，经由存储器I/F109记录在记录介质110中。这里，记录介质110例如是由可装卸在照相机主体上的存储卡构成的记录介质，但没有特别的限定。

LCD驱动器111对LCD 112进行图像显示。在显示记录在记录介质110中的JPEG压缩图像数据的情况下，通过JPEG处理部108读出记录在记录介质110中的JPEG压缩图像数据，实施解压缩处理后，临时存储在SDRAM 106中。LCD驱动器111从SDRAM 106读出该图像数据，转换为影像信号后，在LCD 112上进行图像显示。

作为同时摄影部和噪声降低处理判定部的CPU 113总括地控制照相机主体的各种程序。在CPU 113上连接有操作部114和闪存115。操作部114是电源按钮、快门释放按钮、各种输入键等操作部件。通过由用户对操作部114进行操作，CPU 113执行与该操作部114的操作对应的各种程序。闪存115是存储白平衡增益、色彩矩阵、滤波参数等各种参数的存储部。CPU 113从闪存115读入各种程序所需要的参数，对各处理部发出指示。

一般地，在暗处拍摄等拍摄图像暗的情况下，通过在CDS/AGC电路103中对摄像元件102获得的图像信号进行放大，将图像信号的明亮度调整为目标明亮度。但是，在暗的图像中，在各像素中所获得的电荷量小，所获得的图像信号的振幅也小。并且，在摄像元件102中从电荷进行转换而获得的电信号(模拟图像信号)中附加有一定量的噪声。因此，噪声相对图像信号的比率增大，在CDS/AGC电路103中放大图像信号的同时噪声也被放大，成为噪声量多的图像。

所以，一般地，通过利用相同的滤波参数对图像整体实施滤波处理，以不降低分辨率的程度来降低图像整体的噪声。在本实施方式中，进行如下的自适应噪声降低处理：识别平坦部(亮度变化小的部分)和边缘部(亮度变化大的部分)，通过图像处理部107内部的噪声降低处理部107f，利用独立的滤波参数(也可以是相同的滤波参数)，分别对平坦部和边缘部实施滤波处理来降低噪声。但是，在对噪声量多的图像进行处理的情况下，在低对比度的部位，特别难以识别是噪声还是边缘部。结果，现状是将噪声识别为边缘部，即使在平坦部也残留有噪声。

作为其解决对策，考虑了在摄像元件102中使用对相邻的多个像素进行相加作为一个像素来处理的像素相加方式的方法。通过像素相加方式来增加一个像素的电荷量，从而能够最小限度地抑制在CDS/AGC电路103中的放大，生成低噪声的图像。并且，因为能够得到低噪声的图像而易于发现噪声和边缘部的区别，所以也能够对边缘部和平坦部进行自适应噪声降低处理。但是，该情况下，由于对相邻的多个像素进行相加而看作一个像素，所以图像尺寸变小。

对此，根据相邻像素来预测通过图像处理部107内部的插值尺寸调整处理电路107g的插值处理而减少部分的像素的像素值，通过进行插值来避免图像尺寸的缩小。但是，由于进行插值处理，图像的分辨率降低。

所以，在本发明的第1实施方式中，在具有图1所示的一个处理系统的摄像装置中，分别在像素相加读出模式和全部像素读出模式下拍摄同一被摄体。此时，几乎同时地连续进行两个驱动模式的拍摄，使得在基于像素相加读出模式的拍摄时和基于全部像素读出模式的拍摄时，拍摄状况/拍摄条件(视角和照明环境等)不变化。

图2是详细示出图1所示的图像处理部107的特别是噪声降低处理电路107f的结构的框图。这里，图2示出如下情况下的噪声降低处理电路107f的框图：在噪声降低处理电路107f中读入通过在全部像素读出模式和像素相加读出模式下连续驱动摄像元件102而获得的全尺寸图像数据和像素相加读出数据这两个图像数据，使用所读入的两个图像数据，识别全尺寸图像数据中的平坦部和边缘部，对识别出的边缘部和平坦部应用自适应噪声降低处理，来降低噪声。

像素相加模式图像取得部201和全部像素读出模式图像取得部202是如下的图像输入部：将分别在图像处理部107的WB校正电路107a、同时化电路107b、颜色转换/颜色再现电路107c、γ转换电路107d中进行了WB处理、同时化处理、颜色转换颜色再现处理以及γ转换处理后的像素相加图像数据和全尺寸图像数据，分别输入到噪声降低处理电路中。平坦部信息提取部203从分别经由像素相加模式图像取得部201和全部像素读出模式图像取得部202输入的像素相加图像数据和全尺寸图像数据中，提取用于识别全尺寸图像数据中的平坦部和边缘部的平坦部信息。

首先，说明像素相加图像数据的处理。对于像素相加图像数据，对相邻的多个像素中的电荷进行相加作为一个像素的电荷量来进行处理。因此，像素相加模式图像取得部201的输出图像(像素相加图像数据)与全部像素读出模式图像取得部202的输出图像(全尺寸图像数据)相比，图像尺寸小。所以，在插值尺寸调整处理电路107g中，为了使像素相加图像数据的图像尺寸与全尺寸图像数据的图像尺寸相同，在对不足的像素进行插值后实施尺寸调整处理。关于插值处理公知有最近邻居(nearest neighbor)法、双线性(bi-linear)法、双三次(bi-cubic)法，但是优选考虑处理时间和精度来选择插值处理方法。成为与全尺寸图像数据的尺寸相同的像素相加图像数据通过构成边缘提取电路107e的边缘提取处理部207a、207b，被提取出作为图像的轮廓的边缘成分。另外，插值尺寸调整处理电路107g和边缘提取处理部207a的处理顺序不依赖于这里说明的顺序，也可以是相反的顺序。

这里，针对像素相加图像数据，通过插值尺寸调整处理电路107g根据周边像素对不足的像素进行插值。因此，像素相加图像数据的分辨率比全尺寸图像数据低，从像素相加图像数据中提取的边缘成分也同样被提取出分辨率低的边缘成分。

并且，全尺寸图像数据也同样，通过边缘提取处理部207b从经由全部像素读出模式图像取得部202输入的全尺寸图像数据中，提取作为图像的轮廓的边缘成分。在全尺寸图像数据的情况下，图像中包含大量噪声成分。因此，在边缘提取后的输出中，噪声成分也作为边缘成分被输出。

像素相加图像数据和全尺寸图像数据的各边缘成分被送出到平坦部信息提取部203，利用两个边缘成分，提取全尺寸图像数据中的平坦部。这里，图3示出平坦部信息提取部203的内部结构。

像素相加边缘数据读入部301读入在前级提取出的像素相加图像数据的边缘成分。同样，全尺寸边缘数据读入部302读入在前级提取出的全尺寸图像数据的边缘成分。绝对值电路303a、303b求出所读入的各边缘成分的绝对值，将所得到的输出值输出到二值化电路304a、304b。二值化电路304a、304b对绝对值电路303a、303b的绝对值输出进行二值化，输出到逻辑积电路305。逻辑积电路305取得二值化后的像素相加图像数据的边缘成分和全尺寸图像数据的边缘成分的逻辑积。

这里，在第1实施方式中，连续地取得像素相加图像数据和全尺寸图像数据。即，如果像素相加图像数据的取得定时和全尺寸图像数据的取得定时不完全一致，被摄体在该期间移动，则两个图像数据的像素位置不完全一致。所以，提取平坦部时，在像素位置校正处理部306中，使像素相加图像数据的边缘成分的整体以每次移动周边一个像素的方式移动几个像素，检索每个像素的逻辑积的总和为最大的位置，由此校正像素相加图像数据的各像素位置，进行平坦部提取。

图4(a)是示出像素位置校正处理的流程图的一例。图4(a)的处理仅移动周边一个像素来比较逻辑积的总和。在像素位置校正处理部306中，使像素相加图像数据的边缘成分的整体以每次移动周边一个像素的方式移动几个像素，取得其与全尺寸图像数据的边缘成分的逻辑积。即，如果着眼于全尺寸图像数据的边缘成分的全部像素中的某一个像素，则对全尺寸图像数据的边缘成分的一个像素，分别取得与其对应的位置的像素相加图像数据的边缘成分的一个像素及其周边八个像素共九个像素的逻辑积，对全部像素应用该处理之后，计算每个位置的全部像素的逻辑积之和。图4(b)示出该各九个像素的像素位置和像素位移顺序X之间的关系的一例。以下说明的图4(a)的X与图4(b)的像素位移顺序X相对应。

首先，像素位置校正处理部306作为初始值分别设定像素位移顺序X＝1，全部像素的逻辑积的总和值MAX＝0，比较全部像素的每一个位置的逻辑积的总和值时的总和值最大的像素位置Z＝1，结束标志FLAG＝0，进行初始化(步骤S401)。

接着，像素位置校正处理部306读入全尺寸图像数据中的二值化值(步骤S402)。然后读入像素相加图像数据中的二值化值(步骤S403)。接着，像素位置校正处理部306将像素相加图像数据的二值化值位移到像素位移顺序X所示的像素位置(步骤S404)。逻辑积电路305接收该值，取得全尺寸图像数据的二值化值和像素相加图像数据的二值化值在各像素的逻辑积(步骤S405)。

然后，像素位置校正处理部306判定结束标志FLAG是否为“0”(步骤S406)。如果在步骤S406的判定中FLAG不为“0”，则结束处理。另一方面，如果在步骤S406的判定中FLAG为“0”，则像素位置校正处理部306计算逻辑积总和值k(步骤S407)。

计算出逻辑积总和值k后，像素位置校正处理部306对所计算出的逻辑积总和值k和MAX进行比较(步骤S408)。在步骤S408的判定中MAX小于等于k的情况下，用k置换MAX，将Z设为当前的像素位移顺序X(步骤S409)。然后转移到步骤S410。另一方面，在步骤S408的判定中MAX大于k的情况下，直接转移到步骤S410。然后，像素位置校正处理部306判定像素位移顺序X是否小于“10”(步骤S410)。如果在步骤S410的判定中像素位移顺序X小于“10”，则在像素位移顺序X的值上加1(步骤S411)。然后返回到步骤S404。另一方面，如果在步骤S410的判定中像素位移顺序X大于等于“10”，则在像素位移顺序X中代入表示逻辑积的总和值为最大的像素位置的Z值，进而将结束标志FLAG设为“1”后(步骤S412)，返回到步骤S404。

通过进行图4(a)所示的处理，在对应的一个像素及其周边八个像素中，能够确定各像素位置逻辑积的总和值为最大的像素位置、即像素相加图像数据的边缘成分和全尺寸图像数据的边缘成分的一致度最高的像素位置。另外，在逻辑积的总和值为最大的像素位置不是中心(图4(b)的“1”的位置)的情况下，将该逻辑积的总和值为最大的像素位置变更为中心，再次进行图4(a)所示的处理，由此能够更加准确地进行像素位置的校正。

在像素相加图像数据中，平坦部的噪声少，通过插值处理而放大，因而分辨率低。另一方面，在全尺寸图像数据中，分辨率高，但图像整体中噪声多。通过取得这两方的边缘成分的逻辑积，能够在噪声的影响小的状态下识别平坦部和边缘部。即，在平坦部中，因为取得全尺寸图像数据的包含噪声成分的边缘成分和像素相加图像数据的噪声成分少的边缘成分的逻辑积，所以逻辑积的输出为噪声少的平坦部，并且，在边缘部中，因为取得全尺寸图像数据的分辨率高的边缘成分和像素相加图像数据的分辨率低的边缘成分的逻辑积，所以逻辑积的输出仅输出共同作为边缘部被提取的部分。结果，能够在噪声的影响小的状态下进行平坦部和边缘部的识别。

所提取的平坦部信息作为每个像素的二值化数据被获得，在平坦部中为“0”，在边缘部中为“1”。根据该平坦部信息，在平坦部信息为“0”的情况下从闪存115读入噪声降低效果高的滤波参数，在平坦部信息为“1”的情况下从闪存115读入噪声降低效果低的滤波参数，在图2的噪声降低处理部204中对全尺寸图像数据进行自适应噪声降低处理。然后，将降低了噪声的全尺寸图像数据输出到图像输出部205。并且，在CPU 113内部的噪声降低处理判定部206中，根据拍摄全尺寸图像时的设定ISO灵敏度，判定是否实施使用像素相加图像数据和全尺寸图像数据双方的自适应噪声降低处理，从而能够改善低灵敏度拍摄时的处理时间。例如，在设定ISO灵敏度小于ISO400的拍摄的情况下，不进行自适应噪声降低处理，而对全尺寸图像数据整体实施普通的噪声降低处理(即，使用了考虑分辨率和噪声量之间的平衡的单一滤波参数的噪声降低处理)，在设定ISO灵敏度大于等于ISO400的情况下，实施使用平坦部信息分别设定适用于平坦部和边缘部的滤波参数的自适应噪声降低处理。

图5示出噪声降低处理的流程图。首先，CPU 113从闪存115读入拍摄全尺寸图像时的设定ISO灵敏度(步骤S501)。接着，CPU 113内部的噪声降低处理判定部206通过判定全尺寸图像拍摄时的设定ISO灵敏度是否小于ISO400，从而判定是实施普通的使用单一滤波参数的噪声降低处理，或是实施根据平坦部信息在平坦部和边缘部分别设定滤波参数的自适应噪声降低处理(步骤S502)。

在步骤S502的判定中，在设定ISO灵敏度小于ISO400的情况下，首先，噪声降低处理部204从闪存115读入用于普通的噪声降低处理的滤波参数(不管平坦部还是边缘部，都使用单一的滤波参数)(步骤S503)。接着，噪声降低处理部204从全部像素读出模式图像取得部202读入成为噪声降低处理对象的全尺寸图像数据的全部像素中的一个像素(以下称为关注像素)(步骤S504)。这里，首先读入用于开始噪声降低处理的开始像素(例如左上端的像素)作为关注像素。读出关注像素后，噪声降低处理部204利用所读入的滤波参数对所读入的关注像素实施滤波处理(步骤S505)。然后，噪声降低处理部204判定关注像素是否是全尺寸图像数据的终端像素(例如右下端的像素)(步骤S506)。如果在步骤S506的判定中关注像素不是终端像素，则变更关注像素的位置指定之后(步骤S507)，再次进行步骤S504的全尺寸图像数据的关注像素的读入，对该关注像素实施滤波处理。对全尺寸图像数据的全部像素实施步骤S504～步骤S507的处理。然后，在步骤S506的判定中关注像素是终端像素的情况下，滤波处理结束，输出图像(步骤S508)。

并且，在步骤S502的判定中如果设定ISO灵敏度大于等于ISO400，则噪声降低处理部204从闪存115读入平坦部的滤波参数(步骤S509)，然后，读入边缘部的滤波参数(步骤S510)。接着，噪声降低处理部204从全部像素读出模式图像取得部202读入成为自适应噪声降低处理对象的全尺寸图像数据的关注像素(步骤S511)。这里，首先读入用于开始自适应噪声降低处理的开始像素(可以与步骤S504的开始像素相同)作为关注像素。然后，噪声降低处理部204从平坦部信息提取部203读入该关注像素中的平坦部信息(步骤S512)。然后，噪声降低处理部204通过判定所读入的平坦部信息是否为“0”，来判定关注像素是否是平坦部(步骤S513)。在步骤S513的判定中，在所读入的平坦部信息为“0”的情况下，噪声降低处理部204对关注像素实施使用了平坦部滤波参数的滤波处理(步骤S514)。这里适用的平坦部滤波参数是仅适用于全尺寸图像数据的平坦部的滤波参数，适用比边缘部滤波参数的噪声降低效果好的滤波参数。

并且，在步骤S513的判定中，如果所读入的平坦部信息不为“0”，则噪声降低处理部204对关注像素实施使用了边缘部滤波参数的滤波处理(步骤S515)。这里适用的边缘部滤波参数是仅适用于全尺寸图像数据的边缘部的滤波参数，适用重视分辨且不损害分辨率的滤波参数。

对关注像素实施了滤波处理后，噪声降低处理部204判定当前的关注像素是否是全尺寸图像数据的终端像素(步骤S516)。如果在步骤S516的判定中关注像素不是终端像素，则变更关注像素的位置指定之后(步骤S517)，再次进行步骤S511的全尺寸图像数据的关注像素的读入，对该关注像素实施滤波处理。对全尺寸图像数据的全部像素实施步骤S511～步骤S517的处理。然后，在步骤S516的判定中关注像素是终端像素的情况下，滤波处理结束，转移到步骤S508，输出图像。

如以上说明的那样，根据第1实施方式，通过分别设定在平坦部和边缘部中适用的滤波参数，对平坦部和边缘部进行自适应噪声降低处理。结果，能够降低平坦部中的噪声，而不损害全尺寸图像数据的边缘部的轮廓。另外，上述平坦部和边缘部的处理顺序不限于上述顺序。

[第2实施方式]

下面说明本发明的第2实施方式。图6是本发明的第2实施方式的数字静态照相机的框图。这里，在图6中，因为与图1相同的参照标号所记载的结构与图1相同，所以省略说明。在图6的照相机主体内部设有光路分支棱镜116。光路分支棱镜116使通过镜头101聚光的光分支，使分支后的一个分支的光入射到摄像元件102，另一个分支的光入射到摄像元件102a。通过这种结构，能够使来自被摄体的光同时入射到2个摄像元件。

摄像元件102是在全部像素读出模式下驱动的摄像元件，CDS/AGC电路103和A/D转换部104对在全部像素读出模式下取得的图像数据进行处理，并输出到SDRAM 106。摄像元件102a是在像素相加读出模式下驱动的摄像元件，CDS/AGC电路103a和A/D转换部104a对在像素相加读出模式下取得的图像数据进行处理，并输出到SDRAM 106。

使用光路分支棱镜116，使光路分支到在全部像素读出模式下驱动的摄像元件102和在像素相加读出模式下驱动的摄像元件102a，由此能够同时取得全尺寸图像数据和像素相加图像数据。因此，没有第1实施方式中的全尺寸图像数据和像素相加图像数据之间的延时，两个图像数据的像素位置完全一致。

这里，关于从全尺寸图像数据和像素相加图像数据这两个图像数据中提取平坦部信息来降低噪声的处理，与第1实施方式所述的处理同样地进行。其中，因为两个图像数据的像素位置完全一致，所以不需要第1实施方式中图3的像素位置校正处理部306的处理，使处理速度更快，而且，因为从像素位置完全一致的图像中取得平坦部信息，所以也能够提高平坦部信息的精度。

根据以上实施方式对本发明进行了说明，但是本发明不限于上述的实施方式，当然可以在本发明的主旨的范围内进行各种变形和应用。

进而，上述的实施方式中包含了各种阶段的发明，通过适当组合所公开的多个结构要件，能够提取出各种发明。例如，在从实施方式所示的全部构成要件中删除几个结构要件也能够解决上述课题并得到上述效果的情况下，也能够提取出删除了该结构要件后的结构作为发明。

Claims (15)

1.一种摄像装置，其对摄像信号实施图像处理来得到图像数据，其特征在于，该摄像装置具有：

摄像元件，其具有至少由像素相加读出模式和全部像素读出模式构成的多个驱动模式，在上述像素相加读出模式中，将相邻的多个像素的电荷相加并读出，在上述全部像素读出模式中读出与全部像素对应的电荷；

同时摄影部，其同时或连续执行在上述像素相加读出模式下驱动上述摄像元件来取得像素相加图像数据的动作和在上述全部像素读出模式下驱动上述摄像元件来取得全尺寸图像数据的动作；

平坦部信息提取部，其从上述像素相加图像数据和上述全尺寸图像数据中，提取用于识别上述全尺寸图像数据中的平坦部和边缘部的平坦部信息；以及

噪声降低处理部，其利用各自独立设定的滤波参数，对根据上述所提取的平坦部信息而识别的上述平坦部和上述边缘部实施滤波处理，来降低噪声。

2.根据权利要求1所述的摄像装置，其特征在于，上述平坦部信息提取部具有：

边缘提取部，其提取上述像素相加图像数据中的边缘成分和上述全尺寸图像数据中的边缘成分；

逻辑积运算部，其按照每个像素求出上述所提取的上述像素相加图像数据中的边缘成分与上述全尺寸图像数据中的边缘成分的逻辑积；以及

平坦部提取部，其将上述逻辑积的值为0的像素识别为上述全尺寸图像数据中的平坦部，将上述逻辑积的值为1的像素识别为上述全尺寸图像数据中的边缘部，并提取上述平坦部信息。

3.根据权利要求2所述的摄像装置，其特征在于，上述平坦部信息提取部包含像素位置校正处理部，该像素位置校正处理部校正上述像素相加图像数据相对于上述全尺寸图像数据的像素位置，以使在上述逻辑积运算部按照每个像素求出的逻辑积的总和值最大。

4.根据权利要求1所述的摄像装置，其特征在于，该摄像装置还具有噪声降低处理判定部，其根据通过上述同时摄影部获得上述全尺寸图像数据时的ISO灵敏度，判定是否通过上述平坦部信息提取部进行上述平坦部信息的提取。

5.根据权利要求2所述的摄像装置，其特征在于，该摄像装置还具有噪声降低处理判定部，其根据通过上述同时摄影部获得上述全尺寸图像数据时的ISO灵敏度，判定是否通过上述平坦部信息提取部进行上述平坦部信息的提取。

6.根据权利要求4所述的摄像装置，其特征在于，在上述ISO灵敏度在规定的ISO灵敏度以上的情况下，上述噪声降低处理判定部使上述平坦部信息提取部提取上述平坦部信息，在上述ISO灵敏度比上述规定的ISO灵敏度低的情况下，上述噪声降低处理判定部不使上述平坦部信息提取部提取上述平坦部信息，而使上述噪声降低处理部对通过上述同时摄影部所获得的全尺寸图像数据实施滤波处理。

7.根据权利要求5所述的摄像装置，其特征在于，在上述ISO灵敏度在规定的ISO灵敏度以上的情况下，上述噪声降低处理判定部使上述平坦部信息提取部提取上述平坦部信息，在上述ISO灵敏度比上述规定的ISO灵敏度低的情况下，上述噪声降低处理判定部不使上述平坦部信息提取部提取上述平坦部信息，而使上述噪声降低处理部对通过上述同时摄影部所获得的全尺寸图像数据实施滤波处理。

8.根据权利要求1～7中的任一项所述的摄像装置，其特征在于，上述噪声降低处理部独立设定用于对上述边缘部进行滤波处理的滤波参数和用于对上述平坦部进行滤波处理的滤波参数。

9.根据权利要求8所述的摄像装置，其特征在于，上述滤波参数设定为，对上述平坦部设定的滤波参数的噪声降低效果比对上述边缘部设定的滤波参数的噪声降低效果好。

10.根据权利要求8所述的摄像装置，其特征在于，上述滤波参数存储在上述摄像装置的存储器中。

11.根据权利要求9所述的摄像装置，其特征在于，上述滤波参数存储在上述摄像装置的存储器中。

12.一种图像处理方法，对来自具有至少由像素相加读出模式和全部像素读出模式构成的多个驱动模式的摄像元件的输出进行处理，其中在上述像素相加读出模式中，对相邻的多个像素的电荷进行相加并读出，在上述全部像素读出模式中读出与全部像素对应的电荷，其特征在于，

同时或连续执行在上述像素相加读出模式下驱动上述摄像元件来取得像素相加图像数据的动作和在上述全部像素读出模式下驱动上述摄像元件来取得全尺寸图像数据的动作；

从上述像素相加图像数据和上述全尺寸图像数据中，提取用于识别上述全尺寸图像数据中的平坦部和边缘部的平坦部信息；

利用各自独立设定的滤波参数，对根据上述所提取的平坦部信息而识别的上述平坦部和上述边缘部实施滤波处理，来降低噪声。

13.根据权利要求12所述的图像处理方法，其特征在于，在上述滤波处理之前，根据驱动上述摄像元件来获得上述全尺寸图像数据时的ISO灵敏度，判定是否提取上述平坦部信息。

14.根据权利要求13所述的图像处理方法，其特征在于，在上述判定的结果为上述ISO灵敏度在规定的ISO灵敏度以上的情况下，提取上述平坦部信息，在上述ISO灵敏度比上述规定的ISO灵敏度低的情况下，不提取上述平坦部信息，而对驱动上述摄像元件而获得的全尺寸图像数据实施滤波处理。

15.根据权利要求12所述的图像处理方法，其特征在于，上述滤波参数设定为，对上述平坦部设定的滤波参数的噪声降低效果比对上述边缘部设定的滤波参数的噪声降低效果好。

Images