CN1288597C

CN1288597C - 图像合成装置

Info

Publication number: CN1288597C
Application number: CNB028123131A
Authority: CN
Inventors: 辻野和广
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2001-06-19
Filing date: 2002-06-14
Publication date: 2006-12-06
Anticipated expiration: 2022-06-14
Also published as: CN1518724A; US20040233307A1; JP2003078921A; WO2002103632A1; US7511739B2; JP3510868B2

Abstract

数码相机(10)包括一个CCD成像器(16)。由CCD成像器(16)的长时间曝光获得的长时间曝光图像信号施加到开关(SW1)的终端(S1)，由CCD成像器(16)的短时间曝光获得的短时间曝光图像信号和增益调节施加到开关(SW2)的终端(S2)。CPU(44)通过将长时间曝光图像信号与参考值Ys量进行比较来控制开关(SW1)，从而产生合成的图像信号。更具体地说，当满足条件Y水平≤Ys时CPU(44)连接开关(SW1)与终端(S1)，当满足Y水平＞Ys时连接开关(SW1)与终端(S2)。CPU(44)在产生合成图像信号之前检测目标的颜色偏离度，并根据检测结果减小参考值Ys。因此，目标的颜色偏离度越大，短时间曝光图像信号越易于选择。

Description

图像合成装置

技术领域

本发明涉及一种应用到数码相机中的图像合成装置，并尤其涉及这样一种图像合成装置，其根据分别通过长时间曝光和短时间曝光而获得的图像信号产生合成的图像信号。

背景技术

在数码相机中，当按下快门钮时，根据通过图像传感器的预曝光而获得的RGM信号产生一个YUV信号，并且确定的最佳曝光量使得Y信号的整数值(亮度估算值)满足预定的条件。图像传感器的主要曝光根据最佳曝光量执行，并且由此获得的基于RGB信号的YUV信号被记录在记录介质上。

另外，有这样一种数码相机，即，当选择动态范围扩展模式时，执行同一目标的长时间曝光和短时间曝光，并且合并长时间曝光图像信号和被施加增益的短时间曝光图像信号。

长时间曝光和短时间曝光中图像传感器的输出特性例如如图20(A)和图20(B)所示地变化。根据图20(A)，在物体的亮度、即从物体反射的光强度达到L1时，图像传感器的输出饱和。另一方面，根据图20(B)，在物体的亮度达到L2(＞L1)时，图像传感器的输出饱和。因此，比较形成长时间曝光图像信号的每个像素的Y水平与对应于亮度L1的参考值Y1，并且如果在满足条件Y水平＜Y1时选择长时间曝光图像信号，并且如果满足条件Y水平≥Y1时选择被施加增益N的短时间曝光图像信号，则可以获得如图21所示的动态范围被扩展的合成图像信号。

但是，如果在目标的颜色上有偏差，则即使在处于最佳曝光量时对目标摄影，具体颜色的颜色水平也是饱和的。例如，注意人的面部(皮肤色)在微距成像时的RGB信号比例，R水平远高于G水平和B水平。因为根据RGB信号产生Y信号，所以当RGB信号的比例极度失真时，即使确定的最佳曝光量使得亮度估算值满足预定的条件，通过主要曝光所获得的R信号水平也饱和。因此，RGB信号的比例偏离原始比例，并且因而被再现的图像的色调也失真。

当以动态范围扩展模式对偏离特定颜色的目标摄影时显然会发生色调失真的问题。例如，在形成面部的A部分的Y水平超过参考值Y1、并且B部分的Y水平等于或小于参考值Y1、并且因而R水平饱和为图22(A)所示的长时间曝光图像的情况下，如果长时间曝光图像与短时间曝光图像(已被施加了增益)合并，如图22(B)所示，则产生一幅如图22(C)所示只有B部分的色调失真的合成图像。在此情况下，B部分显示为凸起，并且色调的失真比图22(A)所示的长时间曝光图像更显著。

发明内容

因此，本发明的主要目的在于提供一种新颖的图像合成装置。

本发明的另一目的在于提供一种能够将合成图像信号的色调失真降为最小的图像合成装置。

本发明的再一目的在于提供一种能够将合成图像信号的色调中失真的发生降为最小的图像合成方法。

根据本发明，图像合成装置根据按第一曝光量的第一曝光所获得的目标的第一图像信号以及按小于第一曝光量的第二曝光量的第二曝光所获得的目标的第二图像信号产生目标的合成图像，该装置包括：比较装置，用于将第一图像信号和第二图像信号其中任一的亮度相关水平与参考值进行比较；第一选择装置，用于在亮度相关水平等于或小于参考值时选择第一图像信号；第二选择装置，用于在亮度相关水平大于参考值时选择第二图像信号；偏离度检测装置，用于检测目标的颜色偏离度；和减小装置，用于根据偏离度减小参考值。

当根据按第一曝光量的第一曝光所获得的第一图像信号和按第二曝光量的第二曝光所获得的第二图像信号产生合成图像信号时，由比较装置将第一图像信号和第二图像信号其中任一的亮度相关水平与参考值进行比较。当亮度相关水平等于或小于参考值时，由第一选择装置选择第一图像信号，并当亮度相关水平大于参考值时，由第二选择装置选择第二图像信号。由此产生合成图像信号。另一方面，偏离度检测装置检测目标的颜色偏离度，并且减小装置根据检测到的偏离度减小参考值。

因为第二曝光量小于第一曝光量，所以即使目标的颜色偏离特定的颜色，特定颜色的颜色成份也很难饱和，并且第二图像信号的色调也难以失真。如果按照检测到的偏离度减小参考值，则第二图像信号变得易于选择，并且可以避免在合成图像信号的色调中发生失真的情况。

在提取按照预定的曝光量曝光所获得的目标的第三图像信号的情形中，可以通过根据第三图像信号检测特定颜色的颜色饱和度和亮度饱和度、并从颜色饱和度中减去亮度饱和度而获得偏离度。当特定颜色的所有颜色水平都饱和时，亮度水平也饱和。届时，具体颜色的颜色水平饱和、但其亮度水平不饱和的像素被认为偏离具体的颜色。因此，通过从颜色饱和度中减去亮度饱和度，可以获得偏离度。

如果具体颜色的颜色水平饱和的像素数量被定为颜色饱和度，并且如果亮度饱和的像素数量被定为亮度饱和度，则可以精确且容易地算出偏离度。

注意，预定的曝光量最好小于第一曝光量且大于第二曝光量。

在一个实施例中，偏离度越大，参考值减小得越多。因而，偏离度越大，越容易选择第二图像信号。

在另一实施例中，判断形成目标图像的多个部分中的每一个是否满足预定条件。减小装置根据满足预定条件的部分的数量对偏离度加权并根据加权结果减小参考值。预定条件最好包括表明注意的部分为特定颜色的第一条件，以及表明注意的部分具有高亮度的第二条件。

根据本发明，图像合成方法根据按第一曝光量的第一曝光所获得的目标的第一图像信号以及按小于第一曝光量的第二曝光量的第二曝光所获得的目标的第二图像信号产生目标的合成图像，该方法包括下列步骤：(a)将第一图像信号和第二图像信号其中任一的亮度相关水平与参考值进行比较；(b)在亮度相关水平等于或小于参考值时选择第一图像信号；(c)在亮度相关水平大于参考值时选择第二图像信号；(d)检测目标的颜色偏离度；和(e)根据偏离度减小参考值。

当根据按照第一曝光量的第一曝光获得的第一图像信号和按照第二曝光量的第二曝光所获得的第二图像信号产生合成信号时，将第一图像信号和第二图像信号中任意一个的亮度相关水平与参考值进行比较。当亮度相关水平等于或小于参考值时，选择第一图像信号，并当亮度相关水平大于参考值时，选择第二图像信号。由此产生合成图像信号。此处，参考值根据目标的颜色偏离度减小。

因为第二曝光量小于第一曝光量，所以即使目标的颜色偏离特定的颜色，特定颜色的颜色成份也很难饱和。如果根据检测到的偏离度减小参考值，则第二图像信号变得易于选择，并且可以防止在合成图像信号的色调中出现失真的情况。

通过下面结合附图对本发明的详细描述，本发明的上述目的和其它目的、特征、方面和优点将变得更加清晰。

附图说明

图1是本发明一个实施例的框图；

图2是应用到图1所示实施例的单个处理电路的实例框图；

图3是应用到图1所示实施例的CPU的部分操作流程图；

图4是应用到图1所示实施例的CPU的另一部分操作流程图；

图5是应用到图1所示实施例的CPU的其它部分操作流程图；

图6是应用到图1所示实施例的CPU的其它部分操作流程图；

图7是应用到图1所示实施例的CPU的其它部分操作流程图；

图8是储存RGB信号和Y信号的表的实例简图；

图9是本发明另一实施例的框图；

图10是应用到图9所示实施例的单个处理电路的实例框图；

图11是应用到图9所示实施例的CPU的部分操作流程图；

图12是应用到图9所示实施例的CPU的另一部分操作流程图；

图13是应用到图9所示实施例的CPU的其它部分操作流程图；

图14是应用到图9所示实施例的CPU的另一部分操作流程图；

图15是应用到图9所示实施例的CPU的另一部分操作流程图；

图16是应用到图9所示实施例的CPU的其它部分操作流程图；

图17是应用到图9所示实施例的CPU的其它部分操作流程图；

图18是表示图9所示实施例的部分操作示意图；

图19是表示图9所示实施例的另一部分操作示意图；

图20(A)是进行长时间曝光时关于目标亮度的传感器输出曲线；

图20(B)是进行短时间曝光时关于目标亮度的传感器输出曲线；

图21是长时间曝光图像信号和短时间曝光图像信号的合成处理的示意图；

图22(A)是长时间曝光图像的一个实例示意图；

图22(B)是被施加增益的短时间曝光图像的一个实例示意图；

图22(C)是表示一个合成图像的实例的示意图。

具体实施方式

参见图1，本实施例的数码相机10包括一个光学透镜12和一个光圈元件14。目标的光学图像经这些元件入射到CCD成像器(图像传感器)16的接收面上。通过光电转换在光接收面上产生一个对应于入射光图像的相机信号、即原始图像信号。注意，光接收面被具有Bayer阵列(未示出)的初级滤光片覆盖，并且形成相机信号的每个像素信号具有R、G和B任何一种颜色信息。

当电源开启时，CPU 44分别对光圈元件14和TG(计时发生器)18设置孔径量和曝光时间周期，并且指示TG18每1/15秒执行一次曝光。TG18每1/15秒对CCD成像器16曝光一次并从CCD成像器16读出由曝光产生的相机信号。每1/15秒在每帧读出的相机信号经CDS/AGC电路20的公知的噪音去除和水平调节以及A/D转换器22中的A/D转换施加到图像处理电路24。

信号处理电路24构造成如图2所示。相机信号在倍增器24a中被施以增益(初始值)，并在颜色分离电路24a中经受颜色分离。形成相机信号的每个像素只有R信息信号(R信号)、G信息信号(G信号)和B信息信号(B信号)中的一个，并且因此每个像素中缺乏的其它两个颜色信息信号由颜色分离电路24b补偿。形成每个像素的R信号、G信号和B信号同时从颜色分离电路24b输出。在每个像素处输出的R信号、G信号和B信号经白平衡调节电路24c施加到YUV转换电路24d，并且由此产生由Y信号(照明信号)、U信号(色差：R-Y)和V信号(色差：B-Y)构成的图像信号。

返回到图1，开关SW1连接到终端S2，从信号处理电路24输出的图像信号经开关SW1施加到第二存储控制器30。第二存储控制器30将施加的图像信号写入到第二存储器32的图像信号存储区32a上。

视频编码器34经第二存储控制器30读出图像信号存储区32a中的图像信号，将每帧的读出图像信号编码成NTSC制式的合成图像信号，并将编码的合成图像信号施加到LCD监视器36。LCD监视器36以实时动画、即目标的图像以15fps的比例显示。

当按下快门钮46时，CPU 44指示TG18执行预曝光并提取根据预曝光由信号处理电路24产生的RGB信号和Y信号。CPU 44决定根据R信号和G信号合并的图像的参考值Ys，根据RGB信号调节白平衡，并根据Y信号决定长时间曝光的第一曝光时间周期Sm1和短时间曝光的第二曝光时间周期Sm2。决定的第一曝光时间周期Sm1长于执行标准摄影(其中只执行一次主要曝光)时的最佳曝光时间周期，并且第二曝光时间周期Sm2短于最佳曝光时间周期。随后，CPU 44指示TG18在注意到的两帧中分别执行长时间曝光(根据第一曝光时间周期Sm1的主要曝光)和短时间曝光(根据第二曝光时间周期Sm2的主要曝光)。TG18在注意到的两帧的第一帧中对CCD成像器16执行长时间曝光，并在第二帧中执行读出长时间曝光产生的相机信号并对CCD成像器16执行短时间曝光。在第二帧之后的一帧中从CCD成像器16读出由短时间曝光产生的相机信号。

当长时间曝光图像信号(基于长时间曝光的图像信号)被从信号处理电路24输出时，CPU 44指示第一存储控制器26执行写入。长时间曝光图像信号被第一存储控制器26储存到第一存储器28中。当由短时间曝光产生的相机信号被从CCD成像器16中读出时，CPU 44还将图2中所示的倍增器24a的增益从初始值改变到预定值N，并且指示第一存储控制器26读出长时间曝光图像信号。基于短时间曝光的并被施加增益的短时间曝光图像信号从信号处理电路24输出，并且长时间曝光图像信号从第一存储控制器26输出。对应于同一像素的长时间曝光图像信号和短时间曝光图像信号同时施加到开关SW1的终端S1和终端S2。

CPU 44还提取形成长时间曝光图像信号的每个像素的Y信号，将每个像素处提取的Y信号水平与参考值Ys进行比较，并响应于比较结果控制开关SW1的开关。当满足Y信号水平≤Ys条件时开关SW1连接到终端S1，并当满足Y信号水平＞Ys条件时开关SW1连接到终端S2。当连接到终端S1时，选择形成长时间曝光图像信号的像素信号，并当连接到终端S2时，选择形成短时间曝光图像信号的像素信号，并且由此产生具有动态范围扩展的合成图像信号。

当合成图像信号从开关SW1输出时，CPU 44指示第二存储控制器30执行写入。合成图像信号通过第二存储控制器30暂时储存在第二存储器32的图像信号存储区32a中。CPU 33继续指示JPEG编码解码器38执行压缩过程。JPEG编码解码器38通过第二存储控制器30读出储存在图像信号存储区32a中的合成图像信号，并对读出的合成图像信号按照JPEG制式执行压缩过程。当获得压缩的图像信号时，JPEG编码解码器38将产生的压缩图像信号施加到第二存储控制器30。压缩的图像信号通过第二存储控制器30储存在压缩信号存储区32b中。

当压缩图像信号的存储过程结束时，CPU 44从压缩信号存储区32b中经第二存储控制器30读出压缩图像信号，并将读出的压缩图像信号记录到存储卡42上。由此在存储卡42中建立图形文件。注意，存储卡42是一种可分开的易失性记录介质，当被装载到插槽40中时变得可由CPU 44存取。

当电源接通时，由CPU 44执行按照图3至图7所示流程进行的过程。注意，对应于该流程的控制程序储存在ROM 48中。

首先，在步骤S1执行整个图形显示过程，并且在步骤S3判断快门钮46是否被操纵。当快门钮46未被操纵时，在步骤S5执行监视的AE过程，并再返回到步骤S1。然后，反复调节对光圈元件14设置的孔径量以及对TG18设置的曝光时间周期，并且由此在监视器36上显示具有适中亮度的整个图形。注意，响应于每1/15秒由TG18产生的VD脉冲执行步骤S1和S5的过程。

当操纵快门钮46时，在步骤S7执行为计量设置的曝光。具体地说，对TG18设置1/1200秒的曝光时间周期，并且对光圈元件14设置最大开口的孔径量。在步骤S9判断是否从TG18施加了VD脉冲，如果“是”，则在步骤S11向TG18发出用于计量的预曝光的指示。TG18在1/1200秒的时间内在被施加指示的当前帧执行预曝光，并从CCD成像器16读出由预曝光在当前帧之后的下一帧产生的相机信号。基于读出的相机信号的Y信号从图2所示的YUV转换电路24d在已经被执行读出的帧内输出。因此，在步骤S13判断是否产生VD脉冲，并且如果判定为“是”，则在步骤S15从YUV转换电路24d提取一帧Y信号。提取的一帧Y信号是基于在步骤S11预曝光的Y信号。

在步骤S17，根据提取的Y信号计算曝光时间周期Sp和孔径量F。具体地说，通过在一帧周期内对Y信号积分获得亮度估算值Iy，并再计算亮度估算值Iy满足预定条件的曝光时间周期Sp和孔径量F。在步骤S19，对光圈元件14设置孔径量F，并且对TG18设置曝光时间周期Sp。注意，在步骤S19设置的曝光是为了决定参考值Ys、白平衡调节和最佳曝光时间。

当完成曝光设置之后产生VD脉冲时，在步骤S21判定为“是”，并且在步骤S23对TG 18发出预曝光的指示。TG18根据曝光时间周期Sp执行预曝光并从CCD成像器16读出由预曝光产生的相机信号。当在指示预曝光之后产生VD脉冲时，过程从步骤S25进行到步骤S27，从而提取从图2所示的白平衡调节电路24c输出的RGB信号和从YUV转换电路24d输出的Y信号。提取的RGB信号和Y信号是基于步骤S23的预曝光。在步骤S29，提取的RGB信号和Y信号储存在图8所示的表44a中。此时，对同一像素的RGB信号和Y信号分配共同像素数。在步骤S31判断信号的一帧提取是否完成，并且重复步骤S27和S29直到判定为“是”。

在步骤S33根据提取的R信号和G信号判断参考值Ys，在步骤S35根据提取的RGB信号对最佳值设置白平衡调节电路22的增益，并且在步骤S37，根据提取的Y信号计算最佳曝光时间周期。在步骤S37算出的最佳曝光时间周期是一个在执行一次主要曝光的情况下变为最佳的曝光时间周期，并且因此，在步骤S39将长于最佳曝光时间周期的时间周期确定为长时间曝光的第一曝光时间周期Sm1，并且在步骤S41将短于最佳曝光时间周期的时间周期确定为短时间曝光的第二曝光时间周期Sm2。

在步骤S43对TG 18设置第一曝光时间周期，并响应于VD脉冲的产生在步骤S45判定为“是”。于是，在步骤S47对图2所示的倍增器24a设置初始增益，在步骤S49对TG 18发出主要曝光的指示，并在步骤S51对第一存储控制器26施加一个写入指示。TG 18根据第一曝光时间周期Sm1执行长时间曝光，并从CCD成像器16读出由此产生的相机信号。读取的相机信号具有如图20(A)所示的特性。信号处理电路24根据相机信号产生长时间曝光图像信号，并且由第一存储控制器26将产生的长时间曝光图像信号写到第一存储器28。

在步骤S53对TG18设置第二曝光时间周期Sm2，并响应于VD脉冲的产生在步骤S55判定为“是”。在步骤S57对倍增器24a设置增益N，在步骤S59对TG18发出主要曝光的指示，并在步骤S61对第一控制器26施加读取指示。TG18根据第二曝光时间周期Sm2执行短时间曝光，并且由此产生的相机信号具有图20(B)所示的特征。信号处理电路24产生短时间曝光信号，该短时间曝光信号根据短时间曝光获得的相机信号被施加增益N。另一方面，第一存储控制器26响应于读取指示从第一存储器28中读出长时间曝光图像信号。

随后，将长时间曝光图像信号和短时间曝光图像信号同时施加到形成开关SW1的终端S1和S2。即，在形成长时间曝光图像信号的第X个像素信号施加到终端S1的同时，将形成短时间曝光图像信号的第X个像素信号施加到终端S2。

在步骤S63对第二存储控制器30施加写入指令，并在随后的步骤S65中从第一存储控制器26中提取Y信号。提取的Y信号是形成长时间曝光图像信号的Y信号，提取第X个Y信号的时间略快于对终端S1施加第X个像素信号(YUV信号)的时间。在步骤S67将提取的Y信号水平与参考值Ys进行比较。然后，如果满足Y信号水平＞YS的条件，则过程进行到步骤S69，并且如果满足Y信号水平≤Ys的条件，则过程进行到步骤S71。将开关SW1连接到终端S1，从而在步骤S69选择长时间曝光图像信号，并将开关SW1连接到终端S2，从而在步骤S71选择短时间曝光图像信号。在步骤S73判断一帧的比较过程是否结束，并且重复步骤S65至S71的过程直到判定为“是”。

由此产生具有图21所示特征的一帧合成图像信号。在开关SW1的开关控制之前，对第二存储控制器30施加写入指令，并且因此由第二存储控制器将产生的合成图像信号储存到第二存储器32的图像信号存储区32a中。

在步骤S75将压缩指令施加到JPEG编码解码器38，并在步骤S77将由JPEG编码解码器38产生的并由SDRAM32的压缩信号存储区32b保存的压缩图像信号以文件格式记录到存储卡42中。完成此记录过程之后，过程返回到步骤S1。

在图7所示的子程序中执行步骤S33的参考值判断过程。首先，在步骤S81将R信号水平饱和的像素总数检测为Rsat，并在步骤S83将G信号水平饱和的像素总数检测为Gsat。通过比较储存在表44a中的每个R信号和G信号的阈值来执行这些过程，并且使R水平超过阈值的像素数量和G水平超过阈值的像素数量分别记为Rsat和Gsat。将检测到的Rsat和Gsat分别确定为R信号和G信号的颜色饱和度。

在步骤S85中通过从Rsat中减去Gsat来计算像素Rsat_N的差数。在步骤S87判断Rsat_N是否大于“0”，如果判定为“是”则过程直接进行到步骤S91，如果判定为“否”，则在步骤S89将Rsat_N设置为“0”，并再进行到步骤S91。

通过以3∶6∶1的比例对R信号、G信号和B信号加权并相加而产生Y信号，并且因此G信号对Y信号产生最大的影响。另外，当G信号饱和时，R信号和B信号也饱和(即，亮度水平饱和)，并当R信号和B信号不饱和时绝不会发生G信号饱和的情况。因此，Gsat可以定义为亮度饱和度。于是，可以把在步骤S87算出的Rsat_N认做是没有发生亮度饱和并且R信号水平饱和的像素总数，并且可以认做是R信号相对G信号的偏离度。

注意，步骤S87和S89的过程考虑了Rsat_N通过由信号处理电路24中的设置误差表示负数值的可能性。另外，计算与R信号有关的Rsat_N的原因在于R信号对人的皮肤的颜色产生最大影响。

在步骤S91判断是否满足方程1所示的条件。如果条件满足，则过程直接进行到步骤S95，而如果条件不满足，则在步骤S93根据方程2更新Rsat_N，并再进行到步骤S_95。在步骤S95，根据方程3确定参考值Ys。

[方程1]

Rsat_N*K≤Ysmax-Ysmin

其中

K：常数

Ysmax：Ys可取的最大值

Ysmin：Ys可取的最小值

[方程2]

Rsat_N*K＝Ysmax-Ysmin

[方程3]

Ys＝Ysmax-Rsat_N*K

因为Ysmax和Ysmin分别是Ys可取的最大值和最小值，所以必定在Ysmax～Ysmin的范围内确定Ys。根据方程3，通过从Ysmax中减去Rsat_N*K获得Ys，并且因此，Rsat_N*K必定等于或小于Ysmax-Ysmin，以便使得Ys落在Ysmax～Ysmin的范围内。因而当方程1的条件不满足时，根据方程2校正Rsat_N*K。

从以上的描述中可以理解，当根据长时间曝光图像信号和短时间曝光图像信号产生合成图像信号时，将长时间曝光图像信号的Y信号水平与参考值Ys进行比较(S67)。然后，当满足Y信号水平≤Ys的条件时，由开关SW1选择长时间曝光图像信号(S69)，并当满足Y＞Ys的条件时，由开关SW1选择短时间曝光图像信号SW1(S71)。由此产生合成图像信号。在切换开关SW1的控制之前，检测目标的颜色偏离度(S81～S85)，并且根据检测到的偏离度减小参考值(S95)。

通过分别根据由预曝光(S81，S83)获得的R信号和G信号检测R水平的颜色饱和度和G水平的颜色饱和度(＝亮度饱和度)并从颜色饱和度中减去亮度饱和度(S85)来获得目标的偏离度。当所有的R水平、G水平和B水平都饱和时，Y水平也饱和。因此，可以把R水平饱和而Y水平不饱和的像素认做偏向红色。因此，对红色的偏离度通过从R水平的颜色饱和度中减去G水平的颜色饱和度而获得。

在短时间曝光的情况下，即使目标的颜色偏向特定的颜色，特定颜色的颜色成份也难以饱和，并且短时间曝光图像信号的色调也难以失真。因此，如果根据检测到的偏离度减小参考值Ys，则易于选择短时间曝光图像信号，并且可以防止在合成图像信号中发生色调失真的情形。

注意，在本实施例中，在获取Rsat_N时从Rsat中减去Gsat；但是，将Y信号水平饱和的像素总数检测作为Ysat也是合适的，并且再从Rsat中减去Ysat。另外，虽然孔径量取恒定值(由预曝光获得的孔径量)，并且在本实施例中执行长时间曝光和短时间曝光时曝光时间周期变化，但除曝光时间周期外或代替曝光时间周期的变化，孔径量也变化。

另外，虽然在此实施例中根据Rsat_N决定参考值Ys，但计算Bsat_N(Bsat-Gsat)并再根据Bsat_N决定参考值。如果这样，关于包括大于B信号的颜色，可以避免在色调中出现部分失真的情形。

另外，虽然参考值Ys根据按方程3的算术操作中的Rsat_N值线性改变，但参考值Ys可以根据Rsat_N的值非线性(按照二次函数)改变参考值Ys。另外，虽然在本实施例中长时间曝光先于短时间曝光进行操作，但将顺序反过来也是合适的。

另外，在本实施例中，当获得Rsat_N时，从R水平饱和的像素Rsat总数中减去G水平饱和的像素Gsat总数。但是，也可以逐个像素地适当地将R水平及G水平与阈值进行比较，R水平饱和但G水平不饱和的像素数目被积分，并且积分值可以定义为Rsat_N。

参见图9和10，另一实施例的数码相机10与图1所示实施例的相同，除了在CPU 44中形成计数器44r和44g，并且由CPU 44执行按照图11～图17所示流程的过程。另外，图11和图12所示的步骤S101～S131与图3和图4中所示的步骤S1～S31相同，并且图13～图15中所示的步骤S155～S193与图4～图6所示的步骤S39～S77相同。因此省去对共同部分的重复描述。

在一帧的周期内执行图12所示步骤S127和S129的过程，并且如果在步骤S131判定为“是”，则在步骤S135执行白平衡调节过程，并在步骤S137计算最佳曝光时间周期。根据储存在表44a中的RGB信号和Y信号执行白平衡调节和最佳曝光时间周期的计算。当计算最佳曝光时间周期时，在步骤S139中对TG18设置最佳曝光时间周期。

在步骤S141判断是否产生VD脉冲，并且如果判定为“是”，则在步骤S143进行预曝光。根据在步骤S117计算的孔径量F以及在步骤S137算出的最佳曝光时间周期执行预曝光。当在按照最佳曝光量的预曝光之后产生VD脉冲时，在步骤S145判定为“是”，并且在步骤S147～S151执行与步骤S127～S131相同的过程。因而把根据步骤S143预曝光的一帧RGB信号和Y信号储存到表44a中。如果在步骤S151判定为“是”，则经过步骤S153的参考值判定过程进行到步骤S155。

由图16和图17所示的子程序执行步骤S153的参考值判定过程。首先，在步骤S201中将计数器44r的计数值Rcnt和计数器44g的计数值Gcnt设置为“0”，并且在步骤S203，参考表44a计算Yij、(R-G)ij和(B-G)ij。

图18所示的目标图像在水平方向和垂直方向被分成8份，并且在屏幕上形成64个划分的区域。i和j表示水平方向和垂直方向上划分区域的位置，“1”～“8”中的任何一个可分配给i和j。Yij表示从划分区(i，j)检测到的积分值，可以定义为亮度估算值。另一方面，(R-G)ij表示基于从划分区(i，j)检测到的R信号和G信号的积分值之差，并且(B-G)ij表示基于从划分区(i，j)检测到的B信号和G信号的积分值之差。

在步骤S205执行方程4的算术操作。根据方程4，每个(R-G)ij和(B-G)ij被亮度估算值除。

[方程4]

fy(R-G)ij＝(R-G)ij/Yij

fy(B-G)ij＝(B-G)ij/Yij

由(R-G)ij和(B-G)ij表示的每个值反映了在执行预曝光时的曝光量。即，曝光量越大，数字值越大，而曝光量越小，数字值越小。当把具有此特征的每个(R-G)ij和(B-G)ij定义为每个划分区中的颜色估算值时，颜色估算值通过曝光量改变。另一方面，目标的颜色实际上独立于曝光量，并且在所有时间里为恒量，除非目标和光源发生改变。因此，即使曝光量改变，颜色估算值也应该取相同的值。因此，每个(R-G)ij和(B-G)ij按照方程4并与曝光量有关的亮度估算值Yij除，并且使所除得的值为颜色估算值。因此，颜色估算值便独立于曝光量，并且这使得可以精确地计算目标的颜色。

在步骤S207判断fy(R-G)ij和fy(B-G)ij是否包含在图19所示的颜色分布图的R区域，并且在步骤S209判断Yij是否超过阈值th1。如果在步骤S207和S209任何一个步骤中判定为“否”，则过程直接进行到步骤S213，而如果在步骤S207和S209中均判定为“是”，则在步骤S211中增加计数值Rcnt，并且过程进行到步骤S213。因此，当注意的划分区域中颜色估算值属于区域R时计数值Rcnt增值，并且划分区的图像具有较高的亮度。

在步骤S213判断fy(R-G)ij和fy(B-G)ij是否包含在图19所示的颜色分布图的G区域，并且在步骤S215判断Yij是否超过阈值th2。如果在步骤S213和S215任何一个步骤中判定为“否”，则过程直接进行到步骤S219，而如果在步骤S213和S215中均判定为“是”，则在步骤S217中增加计数值Gcnt，并且过程进行到步骤S219。因此，当注意的划分区域中颜色估算值属于区域G时计数值Gcnt增值，并且划分区的图像具有较高的亮度。

在步骤S219对图18所示的所有划分区进行判断过程，并且重复步骤S203～S217的过程直到判定为“是”。随后，根据步骤S207和S211判断的结果更新计数值Rcnt，并且根据步骤S213和S215的判断结果更新计数值Gcnt。

图19中所示的区域R是包括大量R成份的区域，区域G是包括大量G成份的区域。因此，具有高亮度并包括R成份的部分越多，计数值Rcnt越大，并且具有高亮度并包含G成份的部分越多，计数值Gcnt越大。另外，从图19中可知，区域R还包括人的皮肤颜色。因此，当对处于亮处的人的面部摄影时，在确定面部图像存在的划分区时增大计数值Rcnt。

在步骤S221参考表44a检测Rsat、Gsat和Bsat。如上所述，Rsat是与R相关的颜色饱和度，Gsat是与G相关的颜色饱和度。另外，Bsat是B水平饱和的像素总数，并且可以定义为与B相关的颜色饱和度。

在步骤S223确定计数值Gcnt，并且在步骤S225比较Gsat与Bsat。如果满足条件Gcnt＝0，或者如果满足即使Gcnt≥1时Gsat≤Bsat的条件，则过程进行到步骤S227。另一方面，如果Gcnt≥1，并且Gsat＞Bsat，则过程进行到步骤S229。在步骤S227根据方程5计算Rsat_N，并且在步骤S229根据方程6计算Rsat_N。

[方程5]

Rsat_N＝Rsat-Gsat

[方程6]

Rsat_N＝Rsat-Bsat

如上所述，一般地，当G信号饱和时，亮度水平也饱和，并且因此在图1的实施例中将Gsat定义为亮度饱和度。然后，通过从Rsat中减去Gsat，获得亮度水平不饱和但R水平饱和的像素总数。但是，关于某些目标，亮度水平不饱和而G水平饱和，但是在此目标中，Gsat不可以定义为亮度饱和度。另一方面，当亮度水平饱和时，不仅G水平而且B水平也饱和，并且因此，Gsat和Bsat的较小数字值接近亮度水平饱和的像素数量。因此，通过在步骤S225中比较Gsat和Bsat并从Rsat中减去较小的数字值，获取成为R信号的偏离度的Rsat_N。

另外，当Gcnt＝0时，G成份不包含在目标中，或者目标的亮度整个很低。因此，根据一种原理，Gsat定义为亮度饱和度。此时，过程进行到步骤S227，无需执行步骤S225的比较过程，并且根据方程5获得Rsat_N。

在步骤S231确定算出的Rsat_N的值。然后如果满足条件Rsat_N＞0，则过程直接进行到步骤S235，而如果满足条件Rsat_N≤0，则在步骤S233将Rsat_N设置为“0”，并再进行到步骤S235。此过程与图7中所示的步骤S87和S89相同。

在步骤S235将计数值Rcnt与“1”相比。如果满足条件Rcnt≥1，则在步骤S237根据方程7更新Rsat_N，并且如果满足条件Rcnt＝0，则在步骤S239将Rsat_N设置为“0”。

[方程7]

Rsat_N＝Rsat_N*Rcnt

在确定Rsat_N后，在步骤S241至S245中执行与图7中所示步骤S91～S95的过程相同的过程。由此确定参考值Ys。

因为一般的用户易于选择人作为目标，所以必须避免在人的皮肤图像中出现色调失真的情况。因此，注意大部分包含在人的皮肤图像中的R成份，并当满足条件Rcnt≥1时，Rsat_N乘以Rcnt。即，根据具有较高亮度并属于R区的划分区的数量对R的偏离度加权。因此，计数值Rcnt越大，参考值Ys越低，并且短时间曝光图像信号变得易于通过图9所示的开关SW1选取。结果，关于包含R成份的颜色的色调失真就得到控制。

注意，当Rcnt＝0时，将Rsat_N设置为“0”，并且由此将参考值Ys设置为最大值Ysmax。当所有划分区的图像具有较低的亮度或从不包括R成份时，计数值Rcnt变为“0”。在此情况下，即使参考值Ys设置为最大值Ysmax，色调也不可能失真，并且因此参考值Ys设置为最大值Ysmax。

虽然以上已详细描述并举例说明了本发明，但应该理解，以上的说明只出于举例说明的目的，并不构成对本发明的限制，本发明的范围和实质由所附的权利要求限定。

Claims

1.数码相机(10)，其包含：

图像装置(16)，该装置具有一光线接收表面，在该表面上照射目标场景的光学图像；

第一曝光装置(S49，S165)，用于参考第一曝光量使所述光线接收表面开始第一曝光过程，以便建立第一目标场景图像；

第二曝光装置(S59，S175)，用于参考小于第一曝光量的第二曝光量使所述光线接收表面开始第二曝光过程，以便建立第二目标场景图像；

第一输出装置(26)，用于像素接着像素地输出形成第一目标场景图像的多个像素；

第二输出装置(24)，用于输出对应于由第一输出装置输出的第一像素的多个第二像素中的一个第二像素，所述多个第二像素形成第二目标场景图像；

选择装置(SW1)，用于选择分别通过第一输出装置和第二输出装置输出的任何一个第一像素和第二像素，以建立一合成图像；

比较装置(S67，S183)，用于根据参考值比较通过所述选择装置注意的所述第一像素和所述第二像素之一的亮度水平；

第一请求装置(S69，S185)，用于当亮度水平等于或小于所述参考值时，请求所述选择装置选择所述第一像素；

第二请求装置(S71，S187)，用于当亮度水平大于所述参考值时，请求所述选择装置选择所述第二像素；

检测装置(S81-S85，S221-S229)，用于检测目标场景颜色的偏离度；和

减小装置(S95，S235-S239，S245)，用于当所述检测装置检测到的偏离度很大时，大大地减小所述参考值。

2.根据权利要求1所述的数码相机，还包括第三曝光装置(S23)，用于参考第三曝光量来使所述光线接收表面进行第三曝光过程，以便建立第三目标场景图像，其特征在于，所述检测装置包括颜色饱和度检测装置(S81)，用于检测基于所述第三目标场景图像的特定颜色的颜色饱和度；亮度饱和度检测装置(S83)，用于检测所述第三目标场景图像的亮度饱和度；和减法装置(S85)，用于从所述颜色饱和度中减去所述亮度饱和度。

3.根据权利要求2所述的数码相机，其特征在于，所述颜色饱和度检测装置检测特定颜色的颜色水平饱和的像素数量；和所述亮度饱和度检测装置检测亮度水平饱和的像素的数量。

4.根据权利要求2所述的数码相机，其特征在于，所述第三曝光量小于第一曝光量并且大于第二曝光量。

5.根据权利要求1所述的数码相机，还包括一确定装置(S207，S209)，用于确定形成目标场景图像的多个部分中的每一个是否满足预定条件，其特征在于，所述减小装置包括一个加权装置(S237，S239)，用于根据符合预定条件部分的数量对偏离度加权，和参考值减小装置(S245)，用于基于通过所述加权装置加权的结果来减小所述参考值。

6.根据权利要求5所述的数码相机，其特征在于，所述预定条件包括表示注意的部分具有特定颜色的第一条件；和表示注意的部分具有高亮度的第二条件。