CN102547161B - 图像处理装置、图像处理方法及电子相机 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法及电子相机。图像处理装置的特征在于，具有：限幅部，当具有多个像素的辉度值的图像数据的处理对象像素的辉度值小于预先设定的阈值时，将上述阈值作为该处理对象像素的输出辉度值；和增量处理部，求出上述输出辉度值相对于上述处理对象像素的辉度值的增量值并进行保持，当上述处理对象像素的辉度值为上述阈值以上时，从该辉度值减去上述增量值，而求出该对象处理像素的输出辉度值。

Description

图像处理装置、图像处理方法及电子相机

技术领域

本发明涉及一种图像处理装置、图像处理方法及电子相机。

背景技术

近年来，使用了CCD型摄像元件、CMOS型摄像元件等的电子相机得到广泛普及。在使用这些摄像元件的电子相机中，进行去除高灵敏度摄影时的噪声的处理(例如参照JP特开2000-224421号公报)。但在噪声非常多的图像中，产生导致暗部中局部的辉度值增加的问题。其原因在于，一般情况下，辉度值被限幅为0以上的辉度值来使用，但暗部的辉度值因噪声而具有负的辉度值时，辉度值会增加被限幅的负的成分(例如参照JP特开2007-295260号公报)。

因此，现有技术中存在以下问题：在具有负的辉度值的暗部的像素中，辉度值增加了所限幅的负的成分。并且，使用增加的辉度值进行后面的噪声去除处理(例如暗部周边像素的辉度值的平均化等)时，产生噪声去除后的图像中的暗部的辉度值因该增量而变为比实际大的值的问题。

发明内容

本发明涉及的图像处理装置的特征在于，具有：限幅部，当具有多个像素的辉度值的图像数据的处理对象像素的辉度值小于预先设定的阈值时，将上述阈值作为该处理对象像素的输出辉度值；和增量处理部，求出上述输出辉度值相对于上述处理对象像素的辉度值的增量值并进行保持，当上述处理对象像素的辉度值为上述阈值以上时，从该辉度值减去上述增量值，而求出该对象处理像素的输出辉度值。

并且其特征在于，上述增量处理部包括：增量计算部，求出上述输出辉度值相对于上述处理对象像素的辉度值的增量值；增量保持部，保持上述增量计算部求出的上述增量值；和增量减算部，当上述处理对象像素的辉度值是上述阈值以上时，从该辉度值减去上述增量保持部中保持的上述增量值，而求出该处理对象像素的输出辉度值。

其特征还在于，上述增量减算部从在具有小于上述阈值的辉度值的像素周边配置的、具有上述阈值以上的辉度值的像素的辉度值，减去上述增量保持部中保持的上述增量值，而求出该处理对象像素的输出辉度值。

并且，其特征在于，上述增量减算部在上述减算后的输出辉度值小于上述阈值时，将上述阈值作为输出辉度值，上述增量保持部在上述处理对象像素的辉度值为上述阈值以上时，从保持的上述增量值减去上述增量减算部中的减算量，而作为新的增量值保持。

并且，其特征在于，上述增量计算部计算上述处理对象像素及与该处理对象像素相邻的像素的增量值，并求出以预先设定的系数对算出的各像素的增量值进行了加权的平滑增量值，上述增量保持部保持上述增量计算部求出的上述平滑增量值。

其特征还在于，上述图像数据的多个像素被配置成矩阵状，在上述限幅部、上述增量计算部及上述增量减算部以行单位或列单位进行各自的处理时，上述增量保持部每当上述行单位的处理或上述列单位的处理结束时，将保持的值重置为零。

进一步，其特征在于还具有：噪声去除部，对上述图像处理装置输出的图像数据进行噪声去除处理；和黑电平限幅部，当上述噪声去除处理后的图像数据的各像素的辉度值小于预先设定的黑电平时，使该像素的辉度值为上述黑电平。

并且，其特征在于，上述图像数据是具有RGB三色像素的Raw格式的图像数据，上述限幅部、上述增量计算部、上述增量保持部及上述增量减算部按照上述Raw格式的图像数据的各颜色进行各自的处理。

并且，其特征在于，上述阈值使用预先设定的负的系数及图像数据的遮光区域中的暗部噪声的标准偏差，并通过下式给出：阈值＝(负的系数)×(暗部噪声的标准偏差)。

本发明涉及的电子相机的特征在于，设有：摄像部，将图像数据输出到上述图像处理装置，上述图像数据具有将经由光学系统入射的被拍摄体光用二维状配置的多个像素进行了光电变换的辉度值；操作部件，向上述摄像部提供摄像时间；和记录部，将上述图像处理装置输出的图像数据记录到存储介质。

本发明涉及的图像处理程序是一种计算机可执行的图像处理程序，其特征在于具有以下处理：限幅处理，当具有多个像素的辉度值的图像数据的处理对象像素的辉度值小于预先设定的阈值时，将上述阈值作为该处理对象像素的输出辉度值；增量计算处理，求出上述输出辉度值相对于上述处理对象像素的辉度值的增量值；增量保持处理，将通过上述增量计算处理求出的上述增量值作为变量保持；和增量减算处理，当上述处理对象像素的辉度值是上述阈值以上时，从该辉度值减去保持为上述变量的上述增量值，求出该处理对象像素的输出辉度值。

根据本发明，从周边像素的辉度值减去限幅引起的增量，因此不会导致暗部中的局部的辉度值的增加，可对适当保持了辉度值的平均值的图像进行噪声去除处理，可同时兼顾暗部中的良好的噪声去除及适当的辉度值的重现。

附图说明

图1是表示本实施方式涉及的电子相机101的构成例的框图。

图2是用于说明负的辉度值的说明图。

图3是表示摄像元件104的辉度值的一例的说明图。

图4是表示图像处理部107的构成例的框图。

图5是表示摄像元件104的像素配置例的说明图。

图6是表示辉度值的判断例的说明图。

图7是暗部处理的流程图。

图8是表示对Raw数据的应用例的说明图。

具体实施方式

以下参照附图详细说明本发明涉及的图像处理装置、图像处理程序及电子相机的实施方式。并且在以下的实施方式中，说明搭载了本发明涉及的图像处理装置的电子相机的例子，但也可是输入摄影完的图像数据并进行噪声去除等图像处理的个人计算机的程序、单体的图像处理装置。

(电子相机101的构成例及基本动作)

首先说明各实施方式中通用的电子相机101的构成例及基本动作。图1是表示电子相机101的构成例的框图，电子相机101包括：光学系统102、机械快门103、摄像元件104、A/D变换部105、图像缓冲器106、图像处理部107、控制部108、存储器109、显示部110、操作部件111、存储卡IF(接口)112。

在图1中，入射到光学系统102的被拍摄体光经由机械快门103入射到摄像元件104的受光面。其中，光学系统102由变焦透镜、聚焦透镜等多个透镜及透镜驱动部、光圈等构成，根据来自控制部108的指令，控制变焦透镜、聚焦透镜或光圈等。

摄像元件104例如由CMOS型固体摄像元件构成，在受光面二维状地配置具有光电变换部的多个像素。

A/D变换部105按照各像素将摄像元件104输出的图像信号变换为数字值，并作为一张摄影图像的图像数据，暂时存储到图像缓冲器106中。例如，摄像元件104的分辨率为1000像素×1000像素时，将100万像素的图像数据取入到图像缓冲器106中。

图像缓冲器106例如由易失性的高速存储器构成，不仅暂时存储A/D变换部105输出的图像数据，而且作为图像处理部107进行图像处理时的缓冲存储器使用。或者，也作为读出摄影图像、与存储卡IF112连接的存储卡112a中保存的拍摄完的图像并显示到显示部110，或进行图像处理时的缓冲器使用。

图像处理部107对取入到图像缓冲器106的图像数据进行白平衡处理、颜色内插处理、γ校正处理、彩度强调处理、轮廓强调处理、或通过基于JPEG规格等的图像压缩方法实施图像数据的压缩处理。而在本实施方式中，图像处理部107进行之后说明的暗部处理、噪声去除处理及负限幅处理等。

控制部108例如由根据存储在内部的程序而动作的CPU构成，控制整个电子相机101的动作。例如，控制部108对应操作部件111的摄影模式选择转盘、释放按钮的操作，设定电子相机101的摄影模式，或在释放按钮按下时进行光学系统102的透镜控制、光圈控制，开闭机械快门103，通过摄像元件104拍摄被拍摄体图像。并且，控制部108在从摄像元件104以预先设定的分辨率根据各像素读出图像信号的同时，通过A/D变换部105变换为数字值，将1个画面的图像数据取入到图像缓冲器106。进一步，控制部108指示图像处理部107对取入到图像缓冲器106的图像数据实施预定的图像处理，向图像处理后的图像数据(例如JPEG数据)附加预定的文件名、标题信息，经由存储卡IF112保存到存储卡112a，或将摄影图像显示到显示部110。

存储器109例如由闪存等非易失性的半导体存储器构成，存储电子相机101的摄影模式、曝光信息、焦点信息等参数。控制部108参照这些参数控制电子相机101的动作。此外，这些参数对应于经由操作部件111进行的用户操作而被适当更新。

显示部110由液晶监视器等构成，通过控制部108显示摄影图像、电子相机101的操作所需的设定菜单画面等。

操作部件111由电源按钮、释放按钮、摄影模式选择转盘、光标按钮等构成。用户操作这些操作按钮来使用电子相机101。例如，在摄影模式选择转盘中，进行高灵敏度摄影模式、ISO灵敏度选择等。并且，这些操作按钮的操作信息被输出到控制部108，控制部108根据从操作部件111输入的操作信息，控制整个电子相机101的动作。

存储卡IF112是用于将存储卡112a连接到电子相机101的接口。并且，控制部108经由存储卡IF112对存储卡112a读写图像数据。

以上是电子相机101的构成及基本动作。此外，在不是电子相机101，而是构成本发明涉及的单体的图像处理装置时，成为在图1中去除了由光学系统102、机械快门103、摄像元件104及A/D变换部105构成的用于摄像的模块的装置，控制部108(相当于图像处理装置的控制部)进行以下动作：将拍摄完的图像数据从存储卡112a读出到图像缓冲器106，通过图像处理部107执行暗部处理、噪声去除处理及负限幅处理等，并再次存储到存储卡112a。

(关于负的辉度值)

在此参照图2说明负的辉度值。图2是表示包括暗部的样本图像115的行131部分的辉度值的变化的图表。此外，图表的纵轴表示黑电平(BL)为0的辉度值，横轴和行131的水平方向的位置对应。在图2的图表中，区域132和样本图像115的行131的明亮的部分对应，辉度值是200左右。并且，区域133和样本图像115的行131的暗的部分对应，辉度值是10左右。一般情况下，黑电平(BL)以位于摄像元件104的遮光区域的像素的输出为基准，将辉度值设为0，但存在因噪声的影响而使辉度值从0向负侧振动的情况，将其称为负的辉度值。

在图2的图表中，当有噪声时，图像的辉度值受到噪声的影响，因此例如如噪声部分134、135、136及137所示，图像的辉度值正负变动。并且在图2中，为易于理解，夸张地描绘了噪声部分134、135、136及137。实际上，噪声的电平很小，因此在辉度值为200左右的明亮部分132中不会产生问题，但在辉度值为10左右的暗部133中，例如如噪声部分136所示，存在辉度值为黑电平以下(负的辉度值)的情况。此时，例如辉度值变为(-10)等值，现有技术中在辉度值的范围以外限幅为黑电平。另一方面，考虑到理论上噪声的平均值是0，这意味着辉度值变大了限幅了负的辉度值的量。尤其是在后面的处理中，使用暗部区域的多个像素进行平均化等噪声去除处理时，含有较多的具有负的辉度值的暗部(图像的较暗部分133等)中的平均的辉度值变大，产生和实际相比较亮的问题。

因此，在本实施方式中，预先设定阈值(SH)(在图2的例子中(SH＝-3)，当处理对象像素的辉度值小于阈值时，将限幅为阈值时的限幅部分136作为增量保持，辉度值小于阈值的像素周边的辉度值进行从阈值以上的像素的辉度值减去所保持的增量的减算处理。这样一来，含有较多的负的辉度值的图像的暗部133中的辉度值不会变大。此外，这些处理由图1的图像处理部107进行，稍后详述图像处理部107的具体处理。

并且，在图2的图表中，为了易于理解示出了模拟波形，实际上，通过A/D变换部105进行A/D变换并取入到图像缓冲器106中的图像数据如图3所示，具有对各像素量子化的辉度值。并且在A/D变换部105中，黑电平以下的负的辉度值也量子化并取入到图像缓冲器106中。其如下进行即可：例如调整对从摄像元件104输出的图像信号进行A/D变换时的基准电压，使黑电平不是A/D变换部105的量子化范围的最小值。

图3是表示具有x列y行的二维状配置的像素的摄像元件104的部分像素及其辉度值的一例的图。在图3的图表中，示出了第3行的辉度值的例子，例如像素p(1，3)、p(3，3)、p(5，3)及p(7，3)的各自的输入辉度值in(1，3)、in(3，3)、in(5，3)及in(7，3)具有负的辉度值。其中，图3所示的图像坐标的像素p(x，y)的图像值(输入辉度值)记载为in(x，y)。

(图像处理部107的构成及动作)

接着参照图4的框图说明图像处理部107的构成及动作。在图4中，图像处理部107包括暗部处理部201、噪声去除处理部202、黑电平限幅处理部203。进一步，图像处理部107具有普通的图像处理部204，其对黑电平限幅处理部203处理后的图像数据进行白平衡处理、颜色内插处理、γ校正处理、彩度强调处理、轮廓强调处理、或通过以JPEG规格等为基准的图像压缩方法进行图像数据的压缩处理。图像处理后的图像数据经由控制部108及存储卡IF112存储到存储卡112a。

其中，不是电子相机101而实现单体的图像处理装置时，将存储卡112a中存储的拍摄完的图像数据读出到图像缓冲器106，进行暗部处理部201、噪声去除处理部202及黑电平限幅处理部203等的图像处理，将处理后的图像数据再次写入到图像缓冲器106。此外在图4中，和图1相同标记的部件表示同一部件。以下依次说明图像处理部107的各部件。

暗部处理部201为了避免在具有小于黑电平的负的辉度值的暗部像素中辉度值增加被限幅的负的成分的问题，而设定比黑电平小的阈值，并进行从周边像素的辉度值减去限幅为阈值时的增量的处理。这样一来，可不导致暗部中的局部的辉度值的增加，能对适当保持了辉度值的平均值的图像进行噪声去除处理，可兼顾暗部中的良好的噪声去除及适当的辉度值的重现。此外，稍后详述暗部处理部201。

噪声去除处理部202例如进行利用了与周边像素的辉度值平均化等公知的噪声去除方法的噪声去除处理。

黑电平限幅处理部203例如将辉度值限幅为辉度0以上的值。这是为了将图像数据限幅为黑电平(辉度值＝0)以上的辉度值使用而进行的普通的处理。此外，黑电平限幅处理部203与在暗部处理部201中进行的以阈值为基准的限幅处理不同，是以黑电平为基准的限幅处理。其中，暗部处理部201的阈值也可是黑电平，但根据经验，暗部处理后的暗部的平均值有偏向负侧的倾向，因此优选以比黑电平小的阈值求出限幅时的增量。例如，阈值如(公式1)那样设定。

阈值SH＝(负的系数)×(暗部噪声的标准偏差)…(公式1)

此外，在(公式1)中，负的系数是(-0.1～-1)左右的值，暗部噪声的标准偏差是图像数据的遮光区域中的像素(OB区域的像素)的输出值的标准偏差。这些值在制造时测定，并存储到电子相机101的存储器109等中。并且，图像处理部107读出存储器109中存储的这些参数，进行处理。

(暗部处理部201的处理)

以下详细说明暗部处理部201的处理。此外，暗部处理部201具有：限幅部251、增量计算部252、增量保持部253、增量减算部254。

限幅部251在处理对象像素p(x，y)的输入辉度值in(x，y)小于预先设定的阈值时，将处理对象像素p(x，y)的输入辉度值in(x，y)限幅为阈值。并且，将限幅后的辉度值作为处理对象像素p(x，y)的输出辉度值out(x，y)输出。例如，输入辉度值in(x，y)为(-10)、阈值为(-3)时，辉度值被限幅为(-3)，(-3)成为输出辉度值。

增量计算部252将限幅部251限幅前的辉度值和限幅后的辉度值之间的差分作为增量值。此外，求增量值的像素的输入辉度值in(x，y)是预先设定的阈值以上时，增量值为0。并且，在本实施方式中，说明了增量计算部252计算使处理对象像素p(x，y)周边的多个像素的增量值平滑的平滑增量值的情况，也可仅使用处理对象像素p(x，y)的增量值进行处理。稍后详述增量计算部252的详细处理。

增量保持部253保持增量计算部252求出的增量值。此外，在本实施方式中，保持增量计算部252求出的被平滑了的增量值(平滑增量值)。在以下的说明中，增量保持部253保持的增量值包括平滑增量值的情况。

增量减算部254在处理对象像素p(x，y)的输入辉度值in(x，y)为阈值以上时，从该辉度值减去由增量保持部252保持的增量值。并且，将减算后的辉度值作为处理对象像素p(x，y)的输出辉度值out(x，y)输出。

此外，以使减算后的辉度值不小于阈值的方式进行减算，减算的增量值从由增量保持部252保持的增量值减去。并且，剩余的增量值被保持，加上通过下一处理对象像素求出的增量值并被积蓄。稍后详细说明增量减算部254的具体处理。

接着参照图5说明暗部处理部201的具体的处理例。在图5中，示出了具有x列y行的二维状配置的像素的摄像元件104的一部分的10行9列的像素。其中，以处理对象像素p(x，y)为第3行第5列的像素p(5，3)、像素p(5，3)的输入辉度值in(5，3)为例，说明暗部处理部201的处理。并且，实际的暗部处理如图2中所说明，以行为单位从第1行开始依次处理。并且，在各行中，以列为单位从第1列的像素开始依次处理。

(增量计算部252的处理)

在图5中，将以处理对象像素为中心求增量的平滑值的像素组，称为参照像素组。在图5的例子中，由以处理对象像素p(5，3)为中心的列方向的上下二个像素构成的从像素p(5，1)到像素p(5，5)为止的5个像素组，是参照像素组。并且在本实施方式中，参照像素组在以处理对象像素p(5，3)为中心的列方向上是上下2个像素的区域，但不限于此，也可将处理对象像素附近的多个像素组作为参照像素组。例如在图5中，可将以处理对象像素p(5，3)为中心的周边的像素p(4，2)、p(5，2)、p(6，2)、p(4，3)、p(6，3)、p(4，4)、p(4，5)、p(4，6)所构成的9个像素组，作为参照像素组。或者也可不考虑参照像素组，仅求出处理对象像素p(5，3)的增量值。

并且在此为了易于进行说明，不考虑输入图像的颜色成分，以黑白图像来进行说明，而输入图像具有RGB等多个颜色成分时，对各颜色成分进行同样的处理即可。

接着说明参照像素组的各像素中的增量的求出方法。首先，求出像素p(x，y)的输入辉度值in(x，y)和阈值(SH)的差分值(公式2)。其中，阈值是之前(公式1)中说明的值(SH)，被预先设定。

差分值d＝SH-in(x，y)…(公式2)

并且，处理对象像素p(x，y)的输入辉度值in(x，y)小于阈值时，差分值d变为正(d≥0)，差分值d相当于增量。相反，当处理对象像素p(x，y)的输入辉度值in(x，y)为阈值以上时，差分值d变为负(d<0)，差分值d不是增量，因此处理对象像素p(x，y)的增量值是0。例如，如图6(a)所示，像素p(5，3)的输入辉度值in(5，3)和阈值(SH)的差分值d根据(公式2)为(d≥0)。相反，如图6(b)所示，差分值d为(d<0)。

如上求出以处理对象像素为中心的参照像素组的各像素的增量值。

接着说明使以处理对象像素为中心的参照像素组的增量值平滑化的方法。首先，对参照像素组的各像素计算(公式2)的差分值d。并且，将d>0时的差分值d作为增量相加，d≤0时，进行使该像素的增量为0的处理。将该处理记述为函数max((SH-in(x，y))，0)。该函数是以差分值d(SH-in(x，y))和0的最大值为输出值的函数，例如d>0时，差分值d变为输出值，d≤0时，0变为输出值。这样仅提取各像素的增量。并且，将所提取的各像素的增量在参照像素组内平滑化，求出参照像素组中的增量的平滑值(平滑增量值)。此时，也可使参照像素组的增量值单纯平均地求出平滑增量值，但在本实施方式中，以预先设定的加权系数对参照像素组的各像素的增量值进行加权，求出平滑增量值。

例如，在求以图5所示的处理对象像素p(5，3)为中心的列方向的上下二个像素所构成的从像素p(5，1)到像素p(5，5)的5个参照像素组的增量的平滑增量值s时，使用之前说明的函数max如(公式3)那样进行计算。

平滑增量值s＝{max((SH-in(5，1))，0)

+2×max((SH-in(5，2))，0)

+2×max((SH-in(5，3))，0)

+2×max((SH-in(5，4))，0)

+max((SH-in(5，5))，0)}/8…(公式3)

在(公式3)中，对像素p(5，2)、p(5，3)、p(5，4)三个像素加权2倍的系数，对像素p(5，1)及p(5，5)二个像素加权1倍的系数，并乘以1/8，从而求出平滑增量值s。并且，上述系数是一个例子，例如也可用(公式4)的系数计算平滑增量值s。

平滑增量值s＝{0.1×max((SH-in(5，1))，0)

+0.2×max((SH-in(5，2))，0)

+0.4×max((SH-in(5，3))，0)

+0.2×max((SH-in(5，4))，0)

+0.1×max((SH-in(5，5))，0)}…(公式4)

并且，在参照像素组的像素数增减时，如(公式4)所示，以使各像素的系数值的和为1的方式进行加权，从而可同样求出平滑增量值s。

并且，将求出的参照像素组的增量的平滑增量值s加到该时刻为止积蓄的积蓄变量stack（堆栈）中，进行增量值的积蓄(公式5)。

stack＝stack+s…(公式5)

这样一来，增量计算部252使以处理对象像素p(x，y)为中心的参照像素组的增量平滑化并求出平滑增量值s，加到积蓄变量stack中进行增量的积蓄。其中，积蓄变量stack和增量保持部253对应。

(增量减算部254)

增量减算部254在处理对象像素p(x，y)的输入辉度值in(x，y)为阈值以上时，从该辉度值减去由增量保持部252保持的增量值。

输入辉度值in(x，y)小于阈值时，增量仅通过增量保持部253积蓄到积蓄变量stack中，因此增量减算部254不进行处理。增量减算部254在输入辉度值in(x，y)为阈值以上时，对保持到该时刻为止积蓄的增量值的积蓄变量stack的值、和输入辉度in(x，y)与SH的差分值(in(x,y)-SH)进行比较，将较小的值作为补偿值(offset)，并从输入辉度值in(x，y)减去offset值。并且，将减算后的辉度值作为处理对象像素p(x，y)的输出辉度值out(x，y)输出。

其中，比较积蓄变量stack的值和差分值(in(x，y)-SH)并将较小的值作为补偿值(offset)的处理，记述为函数min(stack，(in(x，y)-SH))。

并且，使积蓄变量stack的值减少补偿值(offset)的量(公式6)。

stack＝stack-offset…(公式6)

其中，补偿值(offset)相当于从具有阈值以上的辉度值的处理对象像素的辉度值减去的量。并且，以对辉度值进行了减算的量来减少积蓄变量stack的值，当积蓄变量stack的值有残留时，将其留到下一处理对象像素(图5的例子中是下一列的像素p(6，3))的处理。

之后，以下一列的像素p(6，3)作为处理对象像素，重复同样的处理。并且到行的最后的列为止结束处理后，将积蓄变量stack的值重置为0，同样重复下一行的处理。

并且，在上述例子中，对积蓄变量stack的值在同一行的处理中持续保持，但例如在积蓄的增量值较大时很难减去，所以会存在对辉度值为阈值以上的像素造成影响的情况。为避免这一点，例如辉度值为阈值以上的像素以预定个数(例如5个)连续时，可使积蓄变量stack的值重置为0。这样一来，不会影响远离图像的暗部区域的位置的像素的辉度值，仅对图像的暗部区域附近适当进行处理。

这样一来，暗部处理部201对将辉度值小于阈值的像素限幅为阈值时的增量进行积蓄，从辉度值为阈值以上的像素的辉度值减去积蓄的增量(或增量的一部分)，因此可抑制在具有小于阈值的辉度值的暗部的像素附近因增量造成的辉度值的上升。

(暗部处理部201的处理流程)

接着参照图7的流程图说明暗部处理部201对1个画面的图像数据进行的处理的流程。以上说明了以图5的像素p(5，3)为处理对象像素时的处理，而实际的暗部处理部201对具有x列y行二维状配置的像素的、由摄像元件104拍摄的图像数据，以行单位从第1行开始依次执行，并且在各行中以列单位从第1列的像素开始依次重复同样的处理。在图7中，步骤S102到步骤S109的处理对应于以行单位进行的处理，步骤S104到步骤S108的处理对应于以列单位进行的处理。

(步骤S101)取得1个画面的图像数据，对表示进行处理的行位置的变量(y)初始化(y＝1(第1行))。此外，在设参照像素组为处理对象像素的上下2像素的情况下，由于处理最初的第1行及第2行时、及进行最后2行的处理时，不存在作为对象的参照像素组，因此进行例外的处理。例外的处理例如可以是：利用摄像元件104的OB区域的像素，从与第1行相邻的OB区域选择2行的像素，将其作为参照像素。或者，也可以在进行第1行处理时，将下2行(第2行及第3行)的2个像素的辉度值双重利用，构成上下4像素的参照像素组。

(步骤S102)对用于积蓄参照像素组中的增量的平滑增量值的变量(积蓄变量:stack)进行初始化(stack＝0)。

(步骤S103)对表示在步骤S102中选择的行的最初的列位置的变量(x)进行初始化(x＝1(第1列))。

(步骤S104)输入现在的行位置y及列位置x所示的处理对象像素p(x，y)的图像数据。其中，和图5所示的像素坐标的像素p(x，y)对应的输入辉度值记载为in(x，y)。例如，行位置y＝3、列位置x＝5的处理对象像素p(5，3)的输入辉度值成为in(5，3)。

(步骤S105)处理对象像素p(x，y)的输入辉度值in(x，y)小于预先设定的阈值时，将处理对象像素p(x，y)的输入辉度值in(x，y)限幅为阈值。并且，将限幅后的辉度值作为处理对象像素p(x，y)的输出辉度值out(x，y)输出。该处理和限幅部251的处理对应。

(步骤S106)计算将以处理对象像素p(x，y)为中心的参照像素组的增量值平滑化的平滑增量值，并与积蓄变量stack中保持的值相加。该处理和增量计算部252及增量保持部253的处理对应。

(步骤S107)当处理对象像素p(x，y)的输入辉度值in(x，y)为阈值以上时，从该辉度值减去由增量保持部252保持的增量值。并且，将减算后的辉度值作为处理对象像素p(x，y)的输出辉度值out(x，y)输出。该处理和增量减算部254的处理对应。

(步骤S108)对通过行位置变量(y)选择的行的所有列的像素，判断是否结束了步骤S104到步骤S107为止的处理。全部结束时，前进到步骤S109，未结束时前进到步骤S110。

(步骤S109)对1个画面的所有行判断是否结束了步骤S102到步骤S108的处理。全部结束时，结束暗部处理，未结束时前进到步骤S111。

(步骤S110)使列位置变量(x)增加1，而选择下一列。

(步骤S111)使行位置变量(y)增加1，而选择下一行。

从而，暗部处理部201在处理对象像素p(x，y)的输入辉度in(x，y)小于阈值时，将通过限幅处理产生的增量积蓄到积蓄变量stack，在处理对象像素p(x，y)的输入辉度值in(x，y)为阈值以上时，从该像素的辉度值减去积蓄到积蓄变量stack的增量，因此增量的积蓄在暗部区域被减轻，可获得适当保持了局部的平均值的图像数据。这样一来，在进行之后的噪声去除处理时，可抑制暗部区域的平均的辉度值的上升，可兼顾暗部中的良好的噪声去除及适当的辉度值的重现。

(暗部处理的程序)

其中，对图7的流程图中进行的处理用程序语言表示时，可如下所示。

(程序语言下的表述的定义)

·暗部处理前的像素p(x，y)的输入辉度值：in(x，y)

·暗部处理后的像素p(x，y)的输出辉度值：out(x，y)

·SH：阈值

·A＝B：向变量A代入B的值

·A-＝B：将变量A的值更新为(A-B)

·A+＝B：将变量A的值更新为(A+B)

·min(a，b，……)：输出a，b，……的最小值

·max(a，b，……)：输出a，b，……的最大值

因此，暗部处理部201的处理可作为计算机的图像处理程序执行。此时，如图4中所说明，通过图像处理程序执行图像处理部107的全部处理，例如可替代图像缓冲器106，将存储了拍摄完的图像数据的存储卡等存储介质安装到计算机上，执行暗部处理部201、噪声去除处理部202、黑电平限幅处理部203及其他通常的图像处理部204等的处理，并再次将处理后的图像数据存储到存储卡。

(应用例)

在上述实施方式中，未考虑彩色图像进行了说明，在实际的电子相机中，使用通过称为拜耳排列的RGB三色的彩色滤波器拍摄的Raw数据(摄像元件104输出的原始图像数据)。此时，通过将上述实施方式中说明的处理分别应用于RGB各色成分，可获得同样的效果。例如，在对Raw数据的各色成分实施了暗部处理后，进行去马赛克(de-mosaic)处理（根据拜耳排列的图像数据对各个像素内插并生成RGB的数据的颜色内插处理），因此和不进行本实施方式的暗部处理的现有的去马赛克处理相比，可提高去马赛克处理后的图像数据的精度。

图8(a)是表示拜耳排列的摄像元件104的像素坐标的一例的图。通过拜耳排列的摄像元件104拍摄的图像数据规则地配置了R像素、G像素及B像素，因此例如如图8(b)所示，如仅提取奇数行及奇数列的R像素，则仅获得R像素的像素坐标。并且，将其适用于图5的像素坐标，例如将以处理对象像素p(5，5)为中心的周边的像素p(5，1)、p(5，3)、p(5，5)、p(5，7)、p(5，9)所构成的5个像素组作为参照像素组，进行暗部处理。同样，对偶数行及偶数列的B像素也可进行暗部处理。并且，G像素锯齿状配置，因此例如在图8(a)中处理对象像素p(4，3)的G像素的情况下，可将以处理对象像素p(4，3)为中心的周边的像素p(3，2)、p(5，2)、p(4，3)、p(3，4)、p(5，4)所构成的5个像素组作为

参照像素组进行暗部处理，也可将以处理对象像素p(4，3)为中心的周边的像素p(4，1)、p(5，2)、p(4，3)、p(3，4)、p(4，5)所构成的5个像素组作为参照像素组进行暗部处理。或者，也可将处理对象像素(4，3)周边的其他像素作为参照像素组选择。

这样一来，对拜耳排列等Raw数据的图像也可适用和上述实施方式同样的暗部处理。这样一来，在进行了之后的噪声去除处理时，也可抑制暗部像素的辉度值的上升，可兼顾暗部中的良好的噪声去除及适当的辉度值的重现。进一步，Raw数据的情况下，可提高去马赛克处理后的图像数据的精度。

以上在各实施例中列举实例说明了本发明涉及的图像处理装置和图像处理程序及电子相机，在不脱离其精度及其主要特征的范围内可以其他多种形式实施。因此，上述实施方式从各角度而言仅是单纯的示例，不作限定性的解释。本发明如权利要求范围所示，不受本说明书正文的任何约束。进一步，属于权利要求范围的均等范围的变形、变更均在本发明的范围内。

Claims (10)

1.一种图像处理装置，其特征在于，具有：

限幅部，当具有多个像素的图像的处理对象像素的辉度值小于预先设定的阈值时，将上述阈值作为该处理对象像素的输出辉度值；和

增量处理部，计算上述输出辉度值相对于具有小于上述阈值的辉度值的上述处理对象像素的辉度值的增量值并进行保持，从在具有小于上述阈值的辉度值的上述处理对象像素周边配置的、具有上述阈值以上的辉度值的像素的辉度值减去上述增量值，而计算具有上述阈值以上的辉度值的像素的输出辉度值。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述增量处理部包括：

增量计算部，计算上述输出辉度值相对于具有小于上述阈值的辉度值的上述处理对象像素的辉度值的增量值；

增量保持部，保持上述增量计算部计算出的上述增量值；和

增量减算部，从在具有小于上述阈值的辉度值的上述处理对象像素周边配置的、具有上述阈值以上的辉度值的像素的辉度值减去上述增量保持部中保持的上述增量值，而计算上述阈值以上的辉度值的像素的输出辉度值。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述增量减算部在对上述增量值减算后的上述处理对象像素的输出辉度值小于上述阈值时，将上述阈值作为该处理对象像素的输出辉度值，

上述增量保持部从保持的上述增量值中将上述处理对象像素的减算前的辉度值与上述阈值之间的差分减去，而作为新的增量值保持。

4.根据权利要求2所述的图像处理装置，其特征在于，

上述增量计算部计算上述处理对象像素及与该处理对象像素相邻的像素的增量值，并计算以预先设定的系数对计算出的各像素的增量值进行了加权而平滑化的平滑增量值，

上述增量保持部保持上述增量计算部计算出的上述平滑增量值。

5.根据权利要求2所述的图像处理装置，其特征在于，

上述多个像素被配置成矩阵状，上述限幅部、上述增量计算部及上述增量减算部以行单位或列单位进行各像素的上述输出辉度值的计算处理，上述增量保持部每当上述行单位或上述列单位的上述计算处理结束时，将保持的上述增量值重置为零。

6.根据权利要求2所述的图像处理装置，其特征在于，还具有：

噪声去除部，进行对计算出上述输出辉度值的图像去除噪声的噪声去除处理；和

黑电平限幅部，当上述噪声去除处理后的图像的各像素的辉度值小于预先设定的黑电平时，将上述黑电平设置为该像素的新的输出辉度值。

7.根据权利要求2所述的图像处理装置，其特征在于，

上述图像具有Raw格式的RGB三色的像素，

上述限幅部、上述增量计算部、上述增量保持部及上述增量减算部按照上述Raw格式的图像的各颜色进行计算新的输出辉度值的处理。

8.根据权利要求2所述的图像处理装置，其特征在于，

上述阈值使用预先设定的负的系数及上述图像的遮光区域中的暗部噪声的标准偏差，并通过下式计算出：

阈值＝(负的系数)×(暗部噪声的标准偏差)。

9.一种电子相机，搭载了权利要求1至8中任一项所述的图像处理装置，其特征在于，设有：

摄像部，将图像输出到上述图像处理装置，上述图像是将经由光学系统入射的被拍摄体光用二维状配置的多个像素进行了光电变换的图像；

操作部件，向上述摄像部提供摄像时间；和

记录部，将上述图像处理装置输出的图像的图像数据记录到存储介质。

10.一种图像处理方法，其特征在于，具有以下处理：

限幅处理，在具有多个像素的图像中，当进行辉度值校正的处理对象像素的辉度值小于预先设定的阈值时，将上述阈值作为该处理对象像素的输出辉度值；

增量计算处理，计算上述输出辉度值相对于具有小于上述阈值的辉度值的上述处理对象像素的辉度值的增量值；

增量保持处理，将通过上述增量计算处理计算出的上述增量值作为变量保持；和

增量减算处理，从在具有小于上述阈值的辉度值的上述处理对象像素周边配置的、具有上述阈值以上的辉度值的像素的辉度值减去保持为上述变量的上述增量值，计算具有上述阈值以上的辉度值的像素的输出辉度值。