CN103533316A - 图像处理设备、方法和程序 - Google Patents

Abstract

本发明涉及图像处理设备、方法和程序。提供一种图像处理设备，包括环境光白平衡增益生成部件，所述环境光白平衡增益生成部件被配置成根据在环境光下拍摄的图像，生成环境光白平衡增益，合成白平衡增益生成部件，所述合成白平衡增益生成部件被配置成合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益，和白平衡增益校正部件，所述白平衡增益校正部件被配置成按照环境光和辅助光的比率，校正合成的白平衡增益。校正的合成白平衡增益被应用于在包括辅助光和环境光的混合光下拍摄的图像。

Description

图像处理设备、方法和程序

技术领域

本技术涉及一种用于图像处理的设备和方法，以及使计算机执行所述方法的程序。更具体地，本技术涉及用于包括白平衡处理的执行的图像处理的设备和方法，以及使计算机执行所述方法的程序。

背景技术

在成像设备中，常常利用白平衡处理调整图像的色泽（colorshade），以致在成像时的光源下，获得正确的颜色表现。在白平衡处理中，成像设备按照作为摄影环境中的光的环境光的色温，确定恰当的白平衡增益，并根据确定的白平衡增益，调整色泽。色温以温度的形式，表示来自各个光源的光束的颜色。

在成像设备利用诸如闪光之类的辅助光的发光，拍摄图像的情况下，不仅环境光，而且辅助光都入射到成像设备中。因而，如果原样使用环境光下的白平衡增益，那么难以进行正确的调整。因而，提出了一种成像设备，以便利用辅助光的发光，拍摄图像，其中计算辅助光和环境光之间的光量比，并根据计算的比率，确定适当的白平衡增益(例如，参见日本专利公开No.2010-193002)

发明内容

在上述现有技术中，利用环境光和辅助光之间的光量比，合成辅助光中的白平衡增益和环境光中的白平衡增益，把合成的增益用作对于利用辅助光的发光拍摄的图像的适当增益。然而，在上述现有技术中，利用辅助光的发光拍摄的图像可能具有不自然的色泽。例如，当与辅助光相比，环境光的光量和色温极低时，环境光显得比辅助光暗。因而，按它们的光量比合成的增益不能提供环境光的足够色泽。相反，当环境光的色泽不足时，会提供环境光的氛围受损的色泽不自然的图像。

鉴于这样的情况，在本技术中，理想的是把利用辅助光的发光拍摄的图像的色泽调整成自然的色泽。

按照本公开的第一实施例，提供一种图像处理设备，图像处理方法和使计算机执行所述方法的程序，图像处理设备包括环境光白平衡增益生成部件，所述环境光白平衡增益生成部件被配置成根据在环境光下拍摄的图像，生成环境光白平衡增益，合成白平衡增益生成部件，所述合成白平衡增益生成部件被配置成合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益，和白平衡增益校正部件，所述白平衡增益校正部件被配置成按照环境光和辅助光的比率，校正合成的白平衡增益。校正的合成白平衡增益被应用于在包括辅助光和环境光的混合光下拍摄的图像。这产生按照环境光和辅助光的比率，对白平衡增益进行校正的功能。

按照本公开的第一实施例，白平衡增益校正部件可对合成的白平衡增益进行校正，以按照环境光和辅助光的光量比，改变基准色温。这产生按照环境光量和辅助光的光量比率，进行校正，以改变基准色温的功能。

按照本公开的第一实施例，白平衡增益校正部件可对合成的白平衡增益进行校正，以根据环境光白平衡增益生成环境光的色温，并按照获得的环境光的色温和辅助光的色温的比率，改变基准色温。这产生根据环境光白平衡增益，生成环境光色温，并且当环境光和辅助光的色温比较低时，进行校正，以使基准色温变高的功能。

按照本公开的第一实施例，白平衡增益校正部件可判断当到在环境光下拍摄的图像中的被摄对象的深度越小时，环境光与辅助光的比率越低。这产生判断深度越小，环境光与辅助光的比率越低的功能。

按照本公开的第一实施例，图像可具有多个区域。白平衡增益校正部件可分别获得所述多个区域中的每一个中，环境光与辅助光的比率，并分别校正所述多个区域中的每一个的合成白平衡。这产生分别校正多个区域中的每一个中的合成白平衡的功能。

按照本公开的第一实施例，图像处理设备还包括白平衡处理部件，所述白平衡处理部件被配置成通过利用校正的白平衡增益，执行在混合光下拍摄的图像的白平衡处理。这产生通过利用校正的白平衡增益，对在混合光下拍摄的图像进行白平衡处理的功能。

本技术可以实现能够把借助辅助光的发光拍摄的图像的色泽调整为自然色泽的优异效果。

附图说明

图1是表示第一实施例中的成像设备的一种结构例子的方框图；

图2是表示第一实施例中的图像处理设备的一种结构例子的方框图；

图3是表示第一实施例中的环境光白平衡增益生成部件的一种结构例子的方框图；

图4是表示第一实施例中的合成白平衡增益生成部件的一种结构例子的方框图；

图5是表示第一实施例中的白平衡增益校正部件的一种结构例子的方框图；

图6是表示第一实施例中的白平衡处理部件的一种结构例子的方框图；

图7是表示第一实施例中的实时取景图像数据的一个例子的示图；

图8是表示第一实施例中，被分成多个块的实时取景图像数据的一个例子的示图；

图9是表示第一实施例中，环境光贡献率与曝光值的差值之间的关系的一个例子的示图；

图10是表示第一实施例中，校正系数和环境光曝光值之间的关系的一个例子的示图；

图11是表示第一实施例中的校正前后的白平衡增益的一个例子的示图；

图12是表示第一实施例中的图像处理设备的操作的一个例子的流程图；

图13是表示第二实施例中的图像处理设备的一种结构例子的方框图；

图14是表示第二实施例中的白平衡增益校正部件的一种结构例子的方框图；

图15是表示第二实施例的变形例中校正系数和色温之间的关系的一个例子的示图；

图16是表示第三实施例中的图像处理设备的一种结构例子的方框图；

图17是表示第三实施例中的白平衡增益校正部件的一种结构例子的方框图；

图18是表示第三实施例中，辅助光覆盖的范围的一个例子的示图；

图19是表示第三实施例的变形例中，校正系数和深度信息之间的关系的一个例子的示图。

具体实施方式

下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。

下面将说明实现本技术的结构(下面称为实施例)。将按照以下顺序进行说明。

1.第一实施例(按照环境光的光量，校正白平衡增益的例子)

2.第二实施例(按照环境光的色温，校正白平衡增益的例子)

3.第三实施例(按照从深度获得的环境光的光量或色温，校正白平衡增益的例子)

<1.第一实施例>

[成像设备的结构例子]

图1是表示本技术的第一实施例中的成像设备100的一种结构例子的方框图。成像设备100包括成像透镜110、图像传感器120、测光和测距传感器130、信号处理部分140、图像存储器150、透镜控制部分160、闪光灯170、发光控制部分180和操作部分190。成像设备100还包括图像处理设备200和照相机控制设备300。

成像透镜110是在图像传感器120上，形成成像对象的图像的透镜。成像透镜110包括诸如聚焦透镜和变焦透镜之类的透镜。当闪光灯170不发光时，环境光入射到成像透镜110中，而当闪光灯170发光时，混合光入射到成像透镜110中。环境光是来自除闪光灯170外的光源的光，而混合光是辅助光和环境光的混合物，辅助光是来自闪光灯170的光。

图像传感器120光电转换来自成像透镜110的光，通过信号线129向信号处理部分140输出电信号。图像传感器120可用CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)传感器等实现。

测光和测距传感器130被配置成在照相机控制设备300的控制下，测量通过图像传感器120入射的光的数量。测得的光量被用于获得曝光值或者到被摄对象的深度。测光和测距传感器130通过信号线139，把测量的光量值提供给照相机控制设备300。

信号处理部分140被配置成对从图像传感器120供给的电信号，进行CDS(相关双采样)处理和AGC(自动增益控制)处理。CDS处理用于保持足够的信噪比(S/N比)，而AGC处理用于控制增益。信号处理部分140进行这样获得的信号的A/D(模/数)转换，利用获得的数字信号形成图像数据，并通过信号线149，把图像数据输出给图像处理设备200。

图像处理设备200被配置成对来自信号处理部分140的图像数据，进行包括白平衡处理在内的各种图像处理。图像处理设备200从照相机控制设备300接收曝光值，利用所述曝光值进行白平衡处理。白平衡处理的细节将在后面说明。图像处理设备200通过信号线209，把经过图像处理的图像数据输出给图像存储器150。图像存储器150被配置成保存图像数据。

透镜控制部分160被配置成在照相机控制设备300的控制下，控制成像透镜110的位置。例如，可根据变焦倍率或聚焦位置的变化，控制成像透镜110的位置。

闪光灯170被配置成在发光控制部分180的控制下发光，从而产生辅助光。辅助光的光量被配置成固定值。发光控制部分180在照相机控制设备300的控制下，控制闪光灯170的发光操作。

操作部分190被配置成按照用户对于触摸面板、快门释放按钮等的操作，生成操作信号，并通过信号线199，把所述信号输出给照相机控制设备300。

照相机控制设备300被配置成控制整个成像设备100。照相机控制设备300控制测光和测距传感器130分别在闪光灯170发光时，和在闪光灯170不发光时测光。照相机控制设备300随后按照利用测光和测距传感器130测得的光量，确定适当的曝光值。当存在多个测光区域时，根据这些测光量的统计量(例如，平均值)，确定曝光值。照相机控制设备300根据曝光值，确定快门速度和光圈量。照相机控制设备300通过信号线309，把分别与在闪光灯170发光时，和在闪光灯170不发光时的光量对应的曝光值提供给图像处理设备200。

照相机控制设备300还根据当闪光灯170不发光时，利用测光和测距传感器130测量的光量，获得到被摄对象的深度。照相机控制设备300根据所述深度，确定成像透镜110的聚焦位置，并使透镜控制部分160改变成像透镜110的位置。

此外，照相机控制设备300根据来自操作部分190的操作信号，判断快门释放按钮是否被按下。在理想的是闪光灯170发光的情况下，更具体地，在快门释放按钮被按下的情况下，照相机控制设备300控制发光控制部分180使闪光灯170发光。照相机控制设备300随后从图像存储器150，读取在闪光灯170发光时，或者在闪光灯170不发光时拍摄的图像数据，并把所述图像数据输出给显示装置、记录装置等。

虽然成像设备100对A/D转换后的图像数据进行白平衡处理，不过，在信号处理部分140中，在A/D转换前的模拟电信号可以受到白平衡处理。

虽然图像处理设备200被配置成设置在成像设备100中，不过，本技术并不局限于这种结构。图像处理设备200可设置在诸如个人计算机之类的信息处理设备中。

[图像处理设备的结构例子]

图2是表示第一图像处理设备200的结构例子的方框图。图像处理设备200包括环境光白平衡增益生成部件210、环境光白平衡增益保持部分220、环境光曝光值保持部分230、混合光曝光值保持部分240和辅助光白平衡增益存储部分250。图像处理设备200还包括合成白平衡增益生成部件260、白平衡增益校正部件270和白平衡处理部件280。

环境光白平衡增益生成部件210被配置成生成以环境光的色温作为基准色温的白平衡增益，作为环境光白平衡增益WB_e。环境光白平衡增益生成部件210从来自信号处理部分140的图像数据之中，获得在环境光下拍摄的图像数据。例如，环境光白平衡增益生成部件210获得实时取景图像数据，实时取景图像数据是按实时取景模式获得的图像数据。环境光白平衡增益生成部件210随后计算该实时取景图像数据中的每种颜色的亮度值的统计量(例如，和数或平均值)，并根据这些统计量，计算环境光白平衡增益WB_e。不过，如果在统计量的计算中，利用色饱和度高的被摄对象的亮度值作为统计对象，那么可能出现涉及色偏的颜色不合格现象。因而，环境光白平衡增益生成部件210可从统计对象中排除色饱和度相当高的被摄对象的亮度值。

例如，在由包括R(红)、G(绿)和B(蓝)的三种颜色构成的图像中，环境光白平衡增益生成部件210计算相应颜色的亮度值的和数，作为Rsum、Gsum和Bsum。环境光白平衡增益生成部件210通过利用所述和数任意之一(例如，Gsum)作为基准值，计算作为相应颜色的增益的R增益、G增益和B增益，以致利用所述增益放大的值等于基准值。更具体地，环境光白平衡增益生成部件210通过利用以下的公式1和公式2，获得环境光白平衡增益中的R增益WBR_e和B增益WBB_e。G增益的值被设定为“1”。G分量的统计量被用作基准，因为与其它颜色相比，绿色往往在图像中占据更大的区域。

WBR_e=Gsum/Rsum   公式1

WBB_e=Gsum/Bsum   公式2

环境光白平衡增益生成部件210把包括获得的R增益WBR_e和B增益WBB_e的环境光白平衡增益WB_e保持在环境光白平衡增益保持部分220中。

环境光白平衡增益保持部分220被配置成保持由环境光白平衡增益生成部件210生成的环境光白平衡增益WB_e。

环境光曝光值保持部分230被配置成保持从照相机控制设备300供给的环境光曝光值EV_e。在这种情况下，环境光曝光值EV_e是与在闪光灯170不发光时测得的光量，即，环境光的光量对应的曝光值。

混合光曝光值保持部分240被配置成保持从照相机控制设备300供给的混合光曝光值EV_m。在这种情况下，混合光曝光值EV_m是与在闪光灯170发光时测得的光量，即，混合光的光量对应的曝光值。

这些环境光曝光值EV_e和混合光曝光值EV_m是分别与环境光和混合光的光量对应的值。由于每当光量减半时，曝光值加“1”，因此根据环境光曝光值EV_e和混合光曝光值EV_m，可以计算混合光中的环境光和辅助光之间的光量比。

辅助光白平衡增益存储部分250被配置成保存具有作为基准色温的预定辅助光色温的辅助光白平衡增益WB_f。例如，具有6000K的基准色温的白平衡增益被设定为辅助光白平衡增益WB_f。

合成白平衡增益生成部件260被配置成按环境光和辅助光之间的光量比，合成环境光白平衡增益WB_e和辅助光白平衡增益WB_f。更具体地，合成白平衡增益生成部件260从环境光曝光值保持部分230和混合光曝光值保持部分240，读取环境光曝光值EV_e和混合光曝光值EV_m。合成白平衡增益生成部件260还从环境光白平衡增益保持部分220和辅助光白平衡增益存储部分250，读取环境光白平衡增益WB_e和辅助光白平衡增益WB_f。

合成白平衡增益生成部件260随后根据环境光曝光值EV_e和混合光曝光值EV_m，获得环境光和辅助光之间的光量比。合成白平衡增益生成部件260按获得的光量比，合成环境光白平衡增益WB_e和辅助光白平衡增益WB_f。合成白平衡增益生成部件260通过信号线260，把合成的白平衡增益提供给白平衡增益校正部件270，作为合成白平衡增益WB_m。

白平衡增益校正部件270被配置成按照环境光和辅助光的光量比，校正合成的白平衡增益WB_m。例如，白平衡增益校正部件270对合成白平衡增益WB_m进行校正，以使基准色温随着环境光和辅助光的光量比的降低而变高。白平衡增益校正部件270从环境光白平衡增益保持部分220，读取环境光白平衡增益WB_e，并从环境光曝光值保持部分230，读取环境光曝光值EV_e。由于如上所述，辅助光的光量被固定，因此白平衡增益校正部件270仅仅根据环境光曝光值EV_e，就能够计算环境光和辅助光的相对光量。

白平衡增益校正部件270对合成白平衡增益WB_m进行校正，以使基准色温随着环境光和辅助光的相对光量的降低而变高。不过，当环境光的相对光量等于或大于阈值时，环境光足够明亮，于是不需要校正。因而，当环境光的光量等于或大于阈值时，白平衡增益校正部件270把校正量设定成固定值，而不管环境光的光量。

在校正操作中，白平衡增益校正部件270通过校正R增益和B增益至少之一，以致R增益和B增益的比率增大，升高基准色温。一般地，光量低的环境光具有比辅助光低的色温，与辅助光的色泽相比，其色泽接近于红色。因而，通过增大R增益和B增益的比率，强调接近于红色的环境光的色泽。白平衡增益校正部件270通过信号线278和279，把校正的增益提供给白平衡处理部件280，作为将被应用于在混合光下获得的图像数据的适当白平衡增益WB_p。所述适当白平衡增益WB_p包括B增益WBB_p和R增益WBR_p。

当环境光的相对光量较低时，由于环境光的亮度不足，图像中的环境光的色泽可能不足。然而，使基准色温更高的校正强调环境光的色泽，以致图像可获得自然的色泽。

注意白平衡增益校正部件270在环境光的色温比辅助光低的假定之下进行校正。然而相反地，在一些情况下，环境光色温可能比辅助光色温高。例如，当蓝色照明光是环境光时，环境光的色温比辅助光低。白平衡增益校正部件270根据与环境光白平衡增益WB_e对应的色温，判断环境光色温是否高于辅助光色温。如果确定环境光色温高于辅助光色温，那么白平衡增益校正部件270对合成白平衡增益WB_m进行校正，以使基准色温随着环境光与辅助光的光量比的降低而降低。结果，强调环境光的色泽，以致图像获得自然的色泽。

白平衡处理部件280被配置成对在混合光下获得的图像数据，进行利用适当白平衡增益WB_p的白平衡处理。白平衡处理部件280把白平衡处理后的图像数据保持在图像存储器150中。

虽然图像处理设备200把RGB颜色模型图像数据作为处理对象，不过除RGB颜色模型外的图像数据，比如CMYK(青色、洋红色、黄色、黑色)颜色模型图像数据也可被作为处理对象。

虽然图像处理设备200根据曝光值，获得环境光和辅助光之间的光量比，不过可以根据其它参数计算光量比。例如，图像处理设备200可根据照度或亮度，获得光量比。

除了白平衡处理之外，图像处理设备200还可进行诸如γ校正处理和去马赛克之类的图像处理。在这种情况下，可在诸如去马赛克之类的其它处理之前，进行白平衡处理，或者可在其它处理之后进行白平衡处理。

[环境光白平衡增益生成部件的结构例子]

图3是表示第一实施例中的环境光白平衡增益生成部件210的一种结构例子的方框图。环境光白平衡增益生成部件210包括块内总亮度值计算部分211、块内色饱和度计算部分212、总亮度值计算部分213、和环境光白平衡增益计算部分214。

块内总亮度值计算部分211被配置成计算实时取景图像数据中的每个块中的各种颜色的亮度值的和数。术语“块”是指示通过把实时取景图像数据分割成多个区域而获得的每个区域的名称。例如，就具有在行方向排列的r个像素，和在列方向排列的c个像素，从而形成二维格子结构的图像数据来说，行方向的r个像素被分割成M个块，列方向的c个像素被分割成N个块。这里，变量r和c是等于或大于2的整数。变量M是小于r，并且等于或大于1的整数，而变量N是等于c，并且等于或大于1的整数。块内总亮度值计算部分211计算每个块中的每个R、G和B颜色的亮度值的和数，并把所述和数作为B_R(i,j)、B_G(i,j)和B_B(i,j)提供给块内色饱和度计算部分212和总亮度值计算部分213。这里，变量i是1～M的整数，变量j是1～N的整数。

块内色饱和度计算部分212被配置成计算每个块中的色饱和度。块内色饱和度计算部分212通过利用例如以下的公式3～公式5，根据B_R(i,j)、B_G(i,j)和B_B(i,j)，计算每个块的色饱和度Sb(i,j)。

Mb(i,j)=max{B_R(i,j),B_G(i,j),B_B(i,j)}   公式3

mb(i,j)=min{B_R(i,j),B_G(i,j),B_B(i,j)}   公式4

Sb(i,j)={Mb(i,j)-mb(i,j)}/Mb(i,j)   公式5

在公式3中，“max()”是返回圆括号中的值之中的最大值的函数。在公式4中，“min()”是返回圆括号中的值之中的最小值的函数。在公式5中，如果Mb(i,j)和mb(i,j)的两个值都取“0”，那么右手侧变得不定。因而，采用例外处理在Sb(i,j)中设定“0”。

块内色饱和度计算部分212生成随着色饱和度Sb(i,j)取值越小而取值越大的系数，作为饱和系数Ks(i,j)。例如，块内色饱和度计算部分212生成当色饱和度Sb(i,j)小于规定阈值时，取值为“1”，而当色饱和度Sb(i,j)等于或大于所述阈值时，取值为“0”的系数，作为饱和系数Ks(i,j)。块内色饱和度计算部分212把生成的饱和系数Ks(i,j)提供给总亮度值计算部分213。

总亮度值计算部分213被配置成根据每个块中的总亮度值和饱和系数，计算图像数据中的每种颜色的总亮度值。总亮度值计算部分213通过利用例如以下的公式6～8，根据每个块中的总亮度值B_R(i,j)、B_G(i,j)和B_B(i,j)，以及饱和系数Ks(i,j)，计算总亮度值。总亮度值计算部分213把计算的总亮度值提供给环境光白平衡增益计算部分214。

$\mathrm{Rsum}=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{B}_R(i,j)\mathrm{Ks}(i,j)$    公式6

$\mathrm{Gsum}=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{B}_G(i,j)\mathrm{Ks}(i,j)$    公式7

$\mathrm{Bsum}=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{B}_B(i,j)\mathrm{Ks}(i,j)$    公式8

环境光白平衡增益计算部分214被配置成根据每种颜色的总亮度值，计算环境光白平衡增益WB_e。环境光白平衡增益计算部分214通过利用公式1和2，根据总亮度值Rsum、Gsum和Bsum，计算环境光白平衡增益WB_e，并把计算值保持在环境光白平衡增益保持部分220中。

[合成白平衡增益计算部分的结构例子]

图4是表示第一实施例中的合成白平衡增益生成部件260的一种结构例子的方框图。合成白平衡增益生成部件260包括环境光贡献率生成部分261和合成白平衡增益计算部分262。

环境光贡献率生成部分261被配置成根据环境光曝光值EV_e和混合光曝光值EV_m，计算环境光和混合光的光量比，作为环境光贡献率Ke。环境光贡献率生成部分261利用例如以下的公式9，计算环境光贡献率Ke。环境光贡献率生成部分261把计算的环境光贡献率Ke提供给合成白平衡增益计算部分262。应注意环境光贡献率生成部分261可以使曝光值的差值与利用公式9等计算的环境光贡献率Ke相联系，把它们保存在表格中，并从所述表格中，读出与所述差值相联系的环境光贡献率Ke。

Ke=1/{2^(EV_e-EV_m)}   公式9

合成白平衡增益计算部分262被配置成计算合成白平衡增益WB_m。合成白平衡增益计算部分262通过利用例如以下的公式10和11，根据环境光白平衡增益WB_e，辅助光白平衡增益WB_f，和环境光贡献率Ke，计算合成白平衡增益WB_m。合成白平衡增益计算部分262把计算的合成白平衡增益WB_m提供给白平衡增益校正部件270。

WBR_m=Ke×WBR_e+(1-Ke)×WBR_f   公式10

WBB_m=Ke×WBB_e+(1-Ke)×WBB_f   公式11

在公式10中，变量WBR_m是合成白平衡增益WB_m中的R增益。在公式11中，变量WBB_m是合成白平衡增益WB_m中的B增益。

例如，当环境光和辅助光的光量比为1:2时，环境光贡献率Ke等于1/3。在这种情况下，按照公式10和11，以1:2的比率，合成环境光白平衡增益WB_e和辅助光白平衡增益WB_f。

[白平衡增益校正部件的结构例子]

图5是表示第一实施例中的白平衡增益校正部件270的一种结构例子的方框图。白平衡增益校正部件270包括校正系数生成部分271和合成白平衡增益偏移部分272。

校正系数生成部分271被配置成当环境光和辅助光的相对光量越小时，产生越大的校正系数Km。校正系数Km是用于计算升高合成白平衡增益WB_m的基准色温的校正的校正量的系数。校正系数Km越大，基准色温的增加量变得越大。校正系数生成部分271从例如环境光曝光值保持部分230，读取环境光曝光值EV_e。如果环境光曝光值EV_e大于阈值EV_th，那么校正系数生成部分271利用例如以下的公式12，计算校正系数Km。如果环境光曝光值EV_e等于或小于阈值EV_th，那么校正系数Km被设定成固定值。所述固定值是通过例如把EV_th代入公式12中获得的值。

Km=a×EV_e+b   公式12

在公式12中，变量a是正实数，变量b是规定的实数。

注意，校正系数生成部分271可用除公式12外的公式，计算校正系数Km，只要能够计算随环境光的相对光量而被改变的系数即可。例如，校正系数生成部分271可利用二次公式、对数函数公式等，计算校正系数。另外，虽然校正系数生成部分271利用计算公式计算校正系数Km，不过本技术并不局限于这种结构。例如，校正系数生成部分271可被配置成保存使环境光曝光值EV_e和利用公式12，根据值EV_e计算的校正系数Km相联系的表，和从所述表读出校正系数Km。

合成白平衡增益偏移部分272被配置成对合成白平衡增益WB_m进行校正，以致随着环境光与辅助光的光量比的降低，而使其增益移向更高的增益。合成白平衡增益偏移部分272通过利用例如以下的公式13和14，根据合成白平衡增益WB_m，环境光白平衡增益WB_e和校正系数Km，计算适当的合成白平衡增益WB_p。

WBR_p=WBR_m+Km×(WBR_m-WBR_e)   公式13

WBB_p=WBB_m+Km×(WBB_m-WBB_e)   公式14

在公式13，变量WBR_p是适当白平衡增益WB_p中的R增益。在公式14中，变量WBR_p是适当白平衡增益WB_p中的B增益。合成白平衡增益偏移部分272把计算的适当白平衡增益WB_p提供给白平衡处理部件280。

虽然白平衡增益校正部件270生成将被应用于整个图像的适当白平衡增益WB_p，不过，可以为图像数据中的每个块，生成将被应用于该块的适当白平衡增益WB_p。例如，校正系数生成部分271获得图像数据中的每个块(i,j)的环境光曝光值EV_e(i,j)。校正系数生成部分271随后根据这些环境光曝光值EV_e(i,j)，生成每个块的校正系数Km(i,j)。合成白平衡增益偏移部分272根据这些校正系数Km(i,j)，生成每个块的适当白平衡增益WB_p(i,j)。

[白平衡处理部件的结构例子]

图6是表示第一实施例中的白平衡处理部件280的一种结构例子的方框图。白平衡处理部件280包括分离部分281和增益可变放大器282和283。

分离部分281被配置成分离图像数据的像素中的各个颜色的亮度值。分离部分281把像素(x,y)中的颜色R的亮度值V_R(x,y)提供给增益可变放大器282，而把像素(x,y)中的颜色B的亮度值V_B(x,y)提供给增益可变放大器283。分离部分281把像素(x,y)中的颜色G的亮度值V_G(x,y)输出给图像存储器150，而不通过增益可变放大器282或283。这里，变量x是1～r的整数，变量y是1～c的整数。

增益可变放大器282和283被配置成用适当的白平衡增益WB_p，放大颜色R和B的亮度值。增益可变放大器282用适当白平衡增益WB_p中的R增益WBR_p，放大亮度值V_R(x,y)，然后把放大的值输出给图像存储器150。增益可变放大器283用适当白平衡增益WB_p中的B增益WBB_p，放大亮度值V_B(x,y)，然后把放大的值输出给图像存储器150。

图7是表示在第一实施例中，被分割成多个块的实时取景图像数据的一个例子的示图。实时取景图像数据显示作为除闪光灯170外的光源的蜡烛。来自蜡烛的环境光的光量通常远远小于辅助光的光量。在这种情况下，由于亮度不够，按照光量比确定的白平衡增益WB_m会导致环境光的色泽不足。

图8是表示第一实施例中，被分割成多个块的实时取景图像数据的一个例子的示图。如图8中所示，实时取景图像数据被分割成M×N个块。在每个块中计算亮度值的统计量和色饱和度，并根据它们获得环境光白平衡增益WB_e。

图9是表示第一实施例中，环境光贡献率和曝光值的差值之间的关系的一个例子的示图。在图9中，纵轴代表环境光贡献率Ke，而横轴代表环境光曝光值EV_e和混合光曝光值EV_m之间的差值，即，EV_e-EV_m。

当使环境光曝光值EV_e和混合光曝光值EV_m之间的差值越大时，环境光贡献率Ks变得越小。例如，如果环境光曝光值EV_e比混合光曝光值EV_m大“1”，那么环境光的光量为混合光的光量的一半。于是，作为环境光与混合光的比率的环境光贡献率Ks变成“1/2”。如果环境光曝光值EV_e比混合光曝光值EV_m大“2”，那么环境光的光量变成混合光的光量的“1/4”，以致环境光贡献率Ks变成“1/4”。从而，每当曝光值的差值加“1”时，环境光贡献率Ks就减半。注意环境光贡献率Ks不会超过“1”，因为环境光的光量不会超过包括环境光的混合光的光量。

按根据曝光值获得的光量比，合成环境光白平衡增益WB_e和辅助光白平衡增益WB_f。

图10是表示第一实施例中，校正系数Km和环境光曝光值EV_e之间的关系的一个例子的示图。在图10中，纵同代表校正系数Km，而横轴代表环境光曝光值EV_e。如图10中图解所示，当环境光的光量变得越小时，即，当阈值EV_e变得越大时，设定越大的值作为校正系数Km。对合成白平衡增益WB_m进行随着校正系数Km越大，使基准色温越高的校正。不过，如果环境光曝光值EV_e等于或小于阈值EV_th，那么环境光足够明亮，于是校正的需要被降低，以致设定固定值作为校正系数Km。这使得能够抑制过度校正。

图11是表示在第一实施例中，在校正前后的白平衡增益的一个例子的示图。在图11中，纵轴代表白平衡增益之中的B增益WBB，而横轴代表R增益WBR。曲线代表与基准色温对应的R增益和B增益的组合的轨迹。白平衡增益的基准色温越高，使R增益与B增益的比率越大。

设想其中环境光的光量小于辅助光的光量的情况。光量相对较小的环境光通常色温比辅助光的色温低。换句话说，与辅助光相比，环境光具有更接近于红色的颜色。因而，为了进行调整，以致使更接近于红色的颜色变白，设定其中R增益与B增益的比率较小的环境光白平衡增益WB_e。相反，就具有更接近于蓝色的色泽的辅助光来说，设定其中R增益与B增益的比率较大的辅助光白平衡增益WB_f。

图像处理设备200按混合光中的辅助光和环境光的光量比，合成辅助光白平衡增益WB_f和环境光白平衡增益WB_e。合成值WB_m是辅助光白平衡增益WB_f和环境光白平衡增益WB_e之间的值。

在环境光的色温低于辅助光的色温的情况下，合成白平衡增益WB_m变得更接近于环境光白平衡增益WB_e的值，当使环境光的相对光量变小时，R增益与B增益的比率变小。结果，在环境光中，接近于红色的色泽变得不足。因而，图像处理设备200进行校正，以使基准色温随着环境光与辅助光的光量比的变小而升高。换句话说，图像处理设备200进行校正，使合成白平衡增益WB_m移向具有R增益与B增益的更大比率的值WB_p。结果，在环境光中强调接近于红色的色泽，以致获得再现环境光的氛围的自然色泽的图像。相反，在环境光的色温高于辅助光的色温的情况下，图像处理设备200进行校正，以使基准色温随着环境光与辅助光的光量比的变小而降低。结果，在环境光中强调接近于蓝色的色泽，以致获得再现环境光的氛围的自然色泽的图像。

[图像处理设备的操作例子]

图12是表示第一实施例中的图像处理设备200的操作的一个例子的示图。例如，当实时取景图像数据被输入图像处理设备200时，开始该操作。

图像处理设备200通过利用公式1～8，根据实时取景图像数据，生成环境光白平衡增益WB_e(步骤S901)。图像处理设备200判定是否进行闪光摄影(步骤S902)。当不进行闪光摄影时(步骤S902：否)，图像处理设备200返回步骤S901。

当进行闪光摄影时(步骤S902：是)，图像处理设备200通过利用公式9～11，生成合成白平衡增益WB_m(步骤S903)。图像处理设备200随后利用公式12，生成校正系数Km(步骤S904)。

图像处理设备200利用公式13和14，生成适当的白平衡WB_p(步骤S905)。图像处理设备200随后利用适当的白平衡WB_p，对利用闪光摄影获得的图像数据进行白平衡处理(步骤S906)。在步骤S906之后，图像处理设备200结束操作。

从而，按照本技术的第一实施例，图像处理设备200能够按照环境光和辅助光的比率，校正合成白平衡增益WB_m。结果，按照所述比率，强调环境光的色泽。于是，图像处理设备200能够把图像数据的色泽调整为自然色泽。

<2.第二实施例>

[图像处理设备的结构例子]

图13是表示第二实施例中的图像处理设备200的一种结构例子的方框图。在第一实施例中，图像处理设备200在按照光量比改变环境光的色温的前提下，进行按照环境光与辅助光的光量比，改变基准色温的校正。然而，在一些情况下，可不按照环境光与辅助光的光量比，改变环境光的色温。例如，当环境光是来自诸如荧光灯之类的人工光源的光时，即使环境光与辅助光的光量比较小，环境光的色温有时与辅助光的色温相比也不是很低。如果在这种情况下，进行升高基准色温的校正，那么色温可能变得过高。为了防止这样的过度校正，可取的是进行随着环境光与辅助光的色温比的降低，使基准色温升高的校正。第二实施例中的图像处理设备200和第一实施例的不同之处在于获得环境光的色温，和根据环境光与辅助光的色温比，生成校正系数。

第二实施例中的白平衡增益校正部件270从环境光白平衡增益保持部分220，读取环境光白平衡增益WB_e。白平衡增益校正部件270随后根据环境光白平衡增益WB_e，获得环境光的色温。由于辅助光的色温通常是固定值，因此根据环境光的色温，获得环境光和辅助光的色温比。当环境光的相对色温越低时，白平衡增益校正部件270使校正系数Km越大，以便校正合成白平衡增益WB_m。注意如果环境光的色温高于辅助光的色温，那么当环境光的相对色温越高时，白平衡增益校正部件270使校正系数Km越小，以便校正白平衡增益WB_m。

[白平衡增益校正部件的结构例子]

图14是表示第二实施例中的白平衡增益校正部件270的一种结构例子的方框图。第二实施例的白平衡增益校正部件270和第一实施例的白平衡增益校正部件270的不同之处在于还包括色温转换部分273。

色温转换部分273被配置成把环境光白平衡增益WB_e转换成环境光色温。更具体地，色温转换部分273获得环境光白平衡增益WB_e用作基准色温的色温，作为环境光的色温。例如，对应于图11的曲线上的值WB_e的基准色温充当环境光的色温。色温转换部分273把环境光的色温提供给校正系数生成部分271。

当环境光与辅助光的色温比变低时，第二实施例的校正系数生成部分271生成较大的校正系数Km，然后把生成的系数提供给合成白平衡增益偏移部分272。第二实施例中的合成白平衡增益偏移部分272的结构与第一实施例中的类似。

虽然白平衡增益校正部件270生成将被应用于整个图像的适当白平衡增益WB_p，不过，可以为图像数据中的每个块，生成将被应用于块的适当白平衡增益WB_p。

当为每个块生成适当白平衡增益WB_p时，环境光白平衡增益生成部件210通过利用例如以下的公式15和16，计算每个块的环境白平衡增益WB_e(i,j)。

WBR_e(i,j)=B_G(i,j)/B_R(i,j)   公式15

WBB_e(i,j)=B_G(i,j)/B_B(i,j)   公式16

校正系数生成部分271根据环境白平衡增益WB_e(i,j)，生成每个块的校正系数Km(i,j)。合成白平衡增益偏移部分272根据这些校正系数Km(i,j)，生成每个块的适当白平衡增益WB_p(i,j)。

图15是表示第二实施例中，校正系数Km和环境光色温T之间的关系的一个例子的示图。在图15中，纵轴代表校正系数Km，而横轴代表环境光色温T。色温T的单位例如为开氏(K)。如图15中图解所示，当环境光色温T变低时，设定较大的值作为校正系数Km，以便把基准色温校正成较高。

从而，按照本技术的第二实施例，图像处理设备200能够按照环境光和辅助光的色温比，校正合成白平衡增益WB_m。结果，按照环境光和辅助光的色温比，强调环境光的色泽。于是，图像处理设备200能够把图像数据的色泽调整成自然色泽。

<3.第三实施例>

[图像处理设备的结构例子]

图16是表示第三实施例中的图像处理设备200的一种结构例子的方框图。在第一实施例中，图像处理设备200根据环境光的曝光值，计算环境光和辅助光的光量比或色温比。不过，图像处理设备200还可根据除曝光值外的值，获得环境光与辅助光的比率，或者色温的比率。更具体地，由于当到被摄对象的深度越小时，环境光与辅助光的比率变得越小，因此根据深度，能够获得光量比。第三实施例的图像处理设备200和第一实施例的图像处理设备200的不同之处在于获得到被摄对象的深度，并根据所述深度，确定环境光与辅助光的比率。

更具体地，第三实施例的白平衡增益校正部件270还从照相机控制设备300，接收深度信息。深度信息是指示图像数据中的每个块中的深度的信息。当深度越小时，闪光灯170通常越近，从而辅助光的光量或色温变得相对较大。换句话说，深度越小，环境光的相对光量或色温变得越小。于是，白平衡增益校正部件270按照深度校正基准色温。例如，随着深度越小，白平衡增益校正部件270使校正系数Km越大，从而使基准色温越高。注意在一些情况下，环境光的色温可能高于辅助光的色温。在这些情况下，随着深度变得越小，环境光的相对色温变得越大。因而，当所述深度越小时，白平衡增益校正部件270使校正系数Km越小，以致使基准色温越低。

[白平衡增益校正部件的结构例子]

图17是表示第三实施例中的白平衡增益校正部件270的一种结构例子的方框图。当利用深度信息指示的块(i,j)的深度越小时，第三实施例的校正系数生成部分271为所述块(i,j)生成越大的校正系数Km(i,j)。第三实施例的合成白平衡增益偏移部分272利用校正系数K(i,j)获得块(i,j)的适当白平衡增益WB_p(i,j)。

图18是表示第三实施例中，辅助光覆盖的范围的一个例子的示图。图18中的椭圆是图像数据中，被辅助光覆盖的范围。在位于该范围内的块501中，表示了相对位于近侧的桌子。同时，在辅助光覆盖的范围之外的块502中，表示了相对位于后侧的墙壁。

这种情况下，深度较小的块501中的被摄对象位于辅助光覆盖的范围之内，于是，环境光的相对光量或色温变小。相反，深度较大的块502中的被摄对象在辅助光覆盖的范围之外，于是，环境光的相对光量或色温变大。因而，具有较小深度的块501的校正系数Km被设定成大于具有较大深度的块502的校正系数Km。

图19是表示第三实施例的变形例中，校正系数和深度信息之间的关系的一个例子的示图。在图19中，纵轴代表块(i,j)的校正系数Km(i,j)。横轴代表块(i,j)的深度信息d(i,j)。当深度信息d(i,j)等于或大于阈值d_th 2时，环境光的相对光量或色温足够大，于是校正的需求较低。因而，设定固定值(例如“0”)作为校正系数Km(i,j)。

当深度信息d(i,j)小于阈值d_th 2，并且等于或大于阈值d_th 1时，深度越小，设定越大的校正系数。当深度d(i,j)小于阈值d_th 1时，如果被设定成较大，那么校正系数会导致过度校正，于是，设定固定值作为校正系数Km(i,j)。作为所述固定值，例如，可以设定在d_th 1的情况下的校正系数Km(i,j)。

从而，按照本技术的第三实施例，图像处理设备200能够判断环境光和辅助光的比率随着深度变小而变小，并且能够按照所述比率，校正合成的白平衡增益WB_m。结果，按照环境光和辅助光的比率，强调环境光的色泽。于是，图像处理设备200能够把图像数据的色泽调整为自然色泽。

注意，上述实施例表示实现本公开的例子，在实施例中的特征和本公开的相应特征之间，存在对应关系。类似地，在本公开的特征和具有相同附图标记的本公开的实施例中的相应特征之间，存在对应关系。不过，本公开并不局限于实施例，可以作出不脱离本公开的范围的各种修改。

此外，在各个上述实施例中说明的处理过程可被理解成包括一系列这些过程的方法，可被理解成使计算机执行一系列这些过程的程序，或者保存所述程序的记录介质。作为所述记录介质，例如，可以使用硬盘、CD(压缩光盘)、MD(小型光盘)、DVD(数字通用光盘)、存储卡、蓝光光盘(注册商标)等等。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

另外，还可如下构成本技术。

(1)一种图像处理设备，包括：

环境光白平衡增益生成部件，所述环境光白平衡增益生成部件被配置成根据在环境光下拍摄的图像，生成环境光白平衡增益；

合成白平衡增益生成部件，所述合成白平衡增益生成部件被配置成合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益；和

白平衡增益校正部件，所述白平衡增益校正部件被配置成按照环境光和辅助光的比率，校正合成的白平衡增益，

其中校正的合成白平衡增益被应用于在包括辅助光和环境光的混合光下拍摄的图像。

(2)按照(1)所述的图像处理设备，

其中白平衡增益校正部件对合成的白平衡增益进行校正以按照环境光和辅助光的光量比，改变基准色温。

(3)按照(1)或(2)所述的图像处理设备，

其中白平衡增益校正部件对合成的白平衡增益进行校正，以根据环境光白平衡增益生成环境光的色温，并按照获得的环境光的色温和辅助光的色温的比率，改变基准色温。

(4)按照(1)-(3)任意之一所述的图像处理设备，

其中白平衡增益校正部件判断当到在环境光下拍摄的图像中的被摄对象的深度越小时，环境光与辅助光的比率越低。

(5)按照(1)-(4)任意之一所述的图像处理设备，

其中图像具有多个区域，

白平衡增益校正部件分别获得所述多个区域中，环境光与辅助光的比率，并分别校正所述多个区域中的合成白平衡。

(6)按照(1)-(5)任意之一所述的图像处理设备，还包括：

白平衡处理部件，所述白平衡处理部件被配置成通过利用校正的白平衡增益，执行在混合光下拍摄的图像的白平衡处理。

(7)一种图像处理方法，包括：

环境光白平衡增益生成部件根据在环境光下拍摄的图像，生成环境光白平衡增益的环境光白平衡增益生成步骤；

合成白平衡增益生成部件合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益的合成白平衡增益生成步骤；

白平衡增益校正部件按照环境光和辅助光的比率，校正合成的白平衡增益的白平衡增益校正步骤；和

把校正的合成白平衡增益应用于在包括辅助光和环境光的混合光下拍摄的图像的步骤。

(8)一种使计算机执行以下步骤的程序：

环境光白平衡增益生成部件根据在环境光下拍摄的图像，生成环境光白平衡增益的环境光白平衡增益生成步骤；

合成白平衡增益生成部件合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益的合成白平衡增益生成步骤；

白平衡增益校正部件按照环境光和辅助光的比率，校正合成的白平衡增益的白平衡增益校正步骤；和

把校正的合成白平衡增益应用于在包括辅助光和环境光的混合光下拍摄的图像的步骤。

本公开包含与在2012年7月5日向日本专利局提交的日本优先权专利申请JP 2012-151343中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (8)

1.一种图像处理设备，包括：

环境光白平衡增益生成部件，所述环境光白平衡增益生成部件被配置成根据在环境光下拍摄的图像，生成环境光白平衡增益；

合成白平衡增益生成部件，所述合成白平衡增益生成部件被配置成合成与辅助光的色温对应的辅助光白平衡增益和所述环境光白平衡增益，从而生成合成白平衡增益；以及

白平衡增益校正部件，所述白平衡增益校正部件被配置成根据环境光与辅助光的比率，校正所述合成白平衡增益，

其中校正后的合成白平衡增益被应用于在包括辅助光和环境光的混合光下拍摄的图像。

2.按照权利要求1所述的图像处理设备，

其中白平衡增益校正部件对所述合成白平衡增益进行校正，所述校正根据环境光与辅助光的光量比改变基准色温。

3.按照权利要求1所述的图像处理设备，

其中白平衡增益校正部件对所述合成白平衡增益进行校正，所述校正根据环境光白平衡增益生成环境光的色温，并根据所获得的环境光的色温和辅助光的色温的比率，改变基准色温。

4.按照权利要求1所述的图像处理设备，

其中白平衡增益校正部件判断当到在环境光下拍摄的图像中的被摄对象的深度越小时，环境光与辅助光的比率越低。

5.按照权利要求1所述的图像处理设备，

其中图像具有多个区域，并且

白平衡增益校正部件获得所述多个区域中的每一个中的环境光与辅助光的比率，并校正所述多个区域中的每一个中的合成白平衡增益。

6.按照权利要求1所述的图像处理设备，还包括：

白平衡处理部件，所述白平衡处理部件被配置成通过利用校正后的白平衡增益，执行对在混合光下拍摄的图像的白平衡处理。

7.一种图像处理方法，包括：

环境光白平衡增益生成部件根据在环境光下拍摄的图像，生成环境光白平衡增益的环境光白平衡增益生成步骤；

合成白平衡增益生成部件合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益的合成白平衡增益生成步骤；

白平衡增益校正部件按照环境光和辅助光的比率，校正所述合成白平衡增益的白平衡增益校正步骤；以及

把校正后的合成白平衡增益应用于在包括辅助光和环境光的混合光下拍摄的图像的步骤。

8.一种使计算机执行以下步骤的程序：

环境光白平衡增益生成部件根据在环境光下拍摄的图像，生成环境光白平衡增益的环境光白平衡增益生成步骤；

合成白平衡增益生成部件合成与辅助光的色温对应的辅助光白平衡增益和环境光白平衡增益，从而生成合成白平衡增益的合成白平衡增益生成步骤；

白平衡增益校正部件按照环境光和辅助光的比率，校正合成的白平衡增益的白平衡增益校正步骤；和

把校正的合成白平衡增益应用于在包括辅助光和环境光的混合光下拍摄的图像的步骤。

Images