CN102769761A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置和图像处理方法。该图像处理装置计算基于使用闪光灯的图像数据的第一白平衡(WB)校正值与基于不使用闪光灯的图像数据的第二WB校正值之间的色温差。该图像处理装置计算被摄体和该装置的移动量，并基于色温差和移动量校正第一和第二WB校正值。该图像处理装置基于校正的第一WB校正值由使用闪光灯的图像数据对第一图像数据进行显像，并基于校正的第二WB校正值由不使用闪光灯的图像数据对第二图像数据进行显像。该图像处理装置计算外部光的信号分量和闪光灯光的信号分量，并计算第一图像数据和第二图像数据的合成比，以将第一图像数据和第二图像数据进行合成。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于控制图像数据的白平衡的技术。

背景技术

诸如数字照相机或数字摄像机的使用图像传感器的摄像装置具有用于调整通过拍摄获取的图像数据的色调的白平衡控制的功能。白平衡包括手动白平衡控制和自动白平衡控制。

手动白平衡控制预先拍摄白色被摄体的图像并计算白平衡系数，计算的白平衡系数应用于整个图像平面。自动白平衡控制自动检测拍摄的图像数据中的白色部分，并基于整个图像平面上各颜色分量的平均值计算白平衡系数，然后将计算的白平衡系数应用于整个图像平面。

当与闪光灯光不同的光源包括在闪光灯发光的场景中的图像数据中时，传统的自动白平衡控制应用上述计算的白平衡系数以进行白平衡控制。因此，难以进行用于将各个光源调整至适当颜色的白平衡控制。

例如，当包括诸如灯泡色光源的低色温光源作为闪光灯发光的场景中的环境光时，由于闪光灯光是高色温光源，因此，如果对闪光灯光调整白平衡，则白平衡对低色温光源就不协调。另一方面，当对低色温光源调整白平衡时，则白平衡对闪光灯光就不协调。

此外，即使通过对两个光源的中间调整白平衡来进行白平衡控制，则白平衡对任何一个光源均不协调。使用闪光灯光照射的区域略带蓝色，使用低色温光源照射的区域略带红色。

为了解决上述问题，日本专利第3540485号公报讨论了以下所述的技术。更具体地，在日本专利第3540485号公报中讨论的技术针对各任意被摄体区域，将闪光灯发光时拍摄的图像数据与闪光灯没有发光时拍摄的图像数据相比较，以获取数据的比率，然后根据比率的值确定闪光灯光的贡献水平。

随后，通过根据确定的贡献水平选择通过使闪光灯发光而被曝光时的图像数据的各被摄体区域的白平衡控制值，来进行白平衡控制。

然而，由于在白平衡控制值针对各被摄体区域发生变化之后进行显像处理，所以在日本专利第3540485号公报中讨论的技术可能无法适当地对白平衡控制值进行诸如颜色再现的其他控制。

此外，闪光灯发光时拍摄的图像数据与闪光灯不发光时拍摄的图像数据之间存在获取定时的时间差。

因此，根据日本专利第3540485号公报所讨论的技术，当被摄体移动或摄像装置移动时，由于照射区域和照射量可能被错误检测，所以色调变化可能出现在被摄体的边缘部分。

发明内容

本发明旨在提供能够减小边缘部分的色调变化的图像处理装置。

根据本发明的一方面，提供了一种图像处理装置，其包括：校正值计算单元，其被配置为基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值；差计算单元，其被配置为计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差；移动量计算单元，其被配置为计算被摄体和所述图像处理装置中的至少一个的移动量；校正单元，其被配置为基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值；显像单元，其被配置为基于由所述校正单元校正的所述第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于由所述校正单元校正的所述第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像；分量计算单元，其被配置为基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量；合成比计算单元，其被配置为基于所述外部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及合成单元，其被配置为根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。

图1例示了根据本发明的示例性实施例的摄像装置的配置。

图2是例示用于计算闪光灯发光时的第一白平衡(WB)校正值的处理的流程图。

图3例示了在检测白色时要使用的图。

图4例示了以时间序列排列的拍摄控制项。

图5例示了静止图像拍摄驱动模式的WB校正值和电子取景器(EVF)拍摄驱动模式的WB校正值。

图6例示了用于考虑到场景的氛围计算第二WB校正值以保留色调的方法。

图7是例示用于合成图像数据的处理的流程图。

图8例示了在对WB校正值进行校正时所参照的二维表。

图9例示了对被摄体区域进行剪辑以计算照射率。

图10例示了根据本发明的示例性实施例的摄像装置的另一配置。

具体实施方式

下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。

图1例示了根据本发明的示例性实施例的摄像装置的配置。在图1中，固态图像传感器101包括电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，固态图像传感器101的表面覆盖有例如拜耳阵列的红色、绿色和蓝色(RGB)滤色器。固态图像传感器101能够进行彩色拍摄。中央处理单元(CPU)114计算快门速度和光圈值以照亮全部图像数据，并且也计算聚焦镜头的驱动量以在聚焦区域中聚焦在被摄体上。

CPU 114计算的曝光值(快门速度和光圈值)以及聚焦镜头的驱动量被输出至控制电路113。白平衡(以下简称“WB”)控制电路103基于在存储器102中存储的图像数据计算WB校正值，并使用计算的WB校正值对在存储器102中存储的图像数据进行WB校正。以下将详细描述WB控制电路103计算WB校正值的方法。

颜色矩阵电路104通过应用颜色增益将WB控制电路103进行WB校正的图像数据转换为色差信号R-Y和B-Y，从而以最佳颜色再生图像数据。低通滤波器(以下简称为“LPF”)电路105对色差信号R-Y和B-Y的频带进行限制。

色度抑制(CSUP)电路106抑制LPF电路105进行限制的图像数据的饱和部分中的伪色信号。另一方面，WB控制电路103进行WB校正的图像数据还被输出至生成亮度信号“Y”的亮度信号(Y)生成电路111。边缘增强电路112对生成的亮度信号“Y”进行边缘增强处理。

从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路112输出的亮度信号“Y”通过RGB转换电路107被转换为RGB信号，然后伽玛(γ)校正电路108对RGB信号进行灰度校正。对其进行灰度校正的RGB信号通过颜色-亮度转换电路109被转换为YUV信号，YUV信号被压缩电路110压缩，然后作为图像数据被记录在外部记录介质或内部记录介质中。

接下来，将详细描述WB控制电路103进行的WB校正值的计算处理。首先，将参照图2所示的流程图，描述作为主曝光期间(闪光灯发光时)的WB校正值的第一WB校正值(第一白平衡校正值)的计算处理。第一WB校正值是基于在闪光灯发光时拍摄的图像数据(以下简称为“使用闪光灯的图像数据”)计算的校正值。

在步骤S201中，WB控制电路103读取在存储器102中存储的使用闪光灯的图像数据，并且将使用闪光灯的图像数据分割为任意的“m”个块。在步骤S202中，WB控制电路103对各个块(1至“m”)的像素值进行相加和平均，计算颜色平均值(R[i]、G[i]和B[i])，然后使用以下公式计算颜色评估值(Cx[i]和Cy[i])：

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

其中Y[i]＝(R[i]+2G[i]+B[i])/4。

WB控制电路103使用包括图3所示的坐标轴的图检测白色。“x”坐标(Cx)的负方向表示对高色温被摄体的白色进行拍摄时的颜色评估值，其正方向表示对低色温被摄体的白色进行拍摄时的颜色评估值。此外，“y”坐标(Cy)表示光源的绿色分量水平。绿色分量水平在负方向越大，则包括的绿色分量越多。包括大量绿色分量的光源指荧光灯。

在步骤S203中，WB控制电路103确定在步骤S202中计算的第i个块的颜色评估值(Cx[i]和Cy[i])是否包括在图3所示的预先设置的白色检测区域301中。由于使用作为已知光源的闪光灯光生成白色检测区域301，所以检测区域有限。

当第i个块的颜色评估值(Cx[i]和Cy[i])包括在预先设置的白色检测区域301中时，处理进行到步骤S204。另一方面，当第i个块的颜色评估值(Cx[i]和Cy[i])没有包括在预先设置的白色检测区域301中时，处理跳过步骤S204并进行到步骤S205。

当WB控制电路103确定第i个块为白色(步骤S203中“是”)，然后在步骤S204中，WB控制电路103对该块的颜色平均值(R[i]、G[i]和B[i])进行积分运算。在步骤S203和S204中进行的处理可以由以下公式表示：

$\mathrm{SumR}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×R\left[i\right]$

$\mathrm{SumG}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×G\left[i\right]$

$\mathrm{SumB}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×B\left[i\right]$

在上述公式中，当颜色评估值(Cx[i]和Cy[i])包括在白色检测区域301中时，SW[i]被定义为“1”。当颜色评估值(Cx[i]和Cy[i])不包括在白色检测区域301中时，SW[i]被定义为“0”。

在步骤S205中，WB控制电路103确定是否对所有块进行了上述处理。当没有对所有块进行处理时(步骤S205中“否”)，处理返回到步骤S202以重复进行上述处理。另一方面，当对所有块进行了处理时(步骤S205中“是”)，处理进入到步骤S206。

在步骤S206中，WB控制电路103使用以下公式基于获取的颜色平均值的积分值(SumR1、SumG1、SumB1)计算第一WB校正值

(WBCol_R1、WBCol_G1和WBCol_B1)：

WBCol_R1＝SumY1×1024/SumR1

WBCol_G1＝SumY1×1024/SumG1

WBCol_B1＝SumY1×1024/SumB1

其中SumY1＝(SumR1+2×SumG1+SumB1)/4。

作为第一WB校正值，闪光灯光的WB校正值可以预先设定为已知值。

接下来，将描述作为没有闪光灯时的WB校正值的第二WB校正值(第二白平衡校正值)的计算处理。第二WB校正值是基于在闪光灯不发光时拍摄的图像数据(以下简称为“不使用闪光灯的图像数据”)计算的校正值。

图4例示了按时序排列的拍摄控制项。如图4所示，在按下开关SW1之前，定期拍摄实时取景(live-view)图像数据，当按下开关SW1时，进行自动聚焦(AF)锁定和自动曝光(AE)锁定。

在按下开关SW2之后，进行测试发光和主曝光。在测试发光之前使用“外部光”表示的时间期间拍摄的图像数据在本文中被定义为不使用闪光灯的图像数据。作为不使用闪光灯的图像数据，可以使用在主曝光之后曝光并拍摄的图像数据。

通过与上述第一WB校正值的计算处理的方法相同的方法进行第二WB校正值的计算处理。然而，第二WB校正值的计算处理与第一WB校正值的计算处理的不同之处在于，在图3所示的外部光的白色检测区域302内进行处理。这是因为闪光灯光是已知光源，外部光不是已知光源，因此白色检测区域302与使用闪关灯的白色检测区域301不同不能被限定。

通过在不同的光源下拍摄白色并预先标绘计算的颜色评估值来获取外部光的白色检测区域302。通过拍摄驱动模式能够单独设置白色检测区域302。即使在拍摄驱动模式不同时，也可以采用第二WB校正值。例如，可以使用过去已计算出的EVF拍摄驱动模式的WB校正值。

然而，当根据拍摄驱动模式生成光谱差分时，WB控制电路103校正WB校正值。图5例示了静止图像拍摄驱动模式的WB校正值和电子取景器(EVF)拍摄驱动模式的WB校正值。当使用过去拍摄的EVF拍摄驱动模式的WB校正值计算静止图像拍摄驱动模式的WB校正值时，如图5所示，WB控制电路103仅以ΔCx和ΔCy校正EVF拍摄驱动模式的WB校正值(EvfCx和EvfCy)501。通过该校正，计算静止图像拍摄驱动模式的WB校正值(CapCx和CapCy)502。

当诸如灯泡色光源的低色温光源用在背景中时，考虑到现场的氛围，可以计算第二WB校正值以保留色调。例如，如图6所示，当第二WB校正值的色温低时(例如，输入为T1)，通过进行控制以保留色调(例如，输出为T′1)，可以生成保留灯泡色光源的红色调的图像数据。

接下来，将参照图7所示的流程图，描述图像数据的合成处理。在步骤S701中，WB控制电路103计算色温差。更具体地，WB控制电路103计算第一WB校正值与第二WB校正值之间的色温的差，第一WB校正值为使用闪光灯的WB校正值，第二WB校正值是不使用闪光灯的WB校正值。

在步骤S702中，WB控制电路103计算被摄体和摄像装置的移动量。基于在控制电路113中安装的陀螺仪传感器(惯性传感器)获取的角速度信息(移动的检测结果)计算摄像装置的移动量。此外，基于使用上述外部光拍摄的图像数据与主曝光拍摄的图像数据之间的差，能够获取被摄体的移动量。

更具体地，通过对在主曝光期间以预定的周期获取的角速度信息进行平均来计算角速度信息。如上所述，基于角速度信息获取的移动量变为摄像装置的移动量。此外，使用外部光拍摄的图像数据与主曝光拍摄的图像数据之间的差与通过主曝光拍摄的图像数据与使用闪光灯拍摄的图像数据之间的差相对应。

因此，WB控制电路103对使用外部光拍摄的图像数据和使用闪光灯拍摄的图像数据进行信号处理，并随后获取图像数据之间的差。换句话说，WB控制电路103从使用外部光拍摄的图像数据和使用闪光灯拍摄的图像数据中提取亮度边缘信号，获取亮度边缘信号之间的差，然后计算移动量。

如上所述，基于图像数据之间的差计算的移动量变为被摄体的移动量。WB控制电路103计算摄像装置的移动量和被摄体的移动量的和，以获取最终的移动量。步骤S701是差计算单元进行的处理的示例。步骤S702是移动量计算单元进行的处理的示例。

在步骤S703中，WB控制电路103基于在步骤S701中计算的色温差和在步骤S702中计算的移动量校正第一和第二WB校正值。当对上述WB校正值进行校正时，参照图8所示的二维表，获取根据色温差和移动量的合成缓和(reduction)比。

WB控制电路103使用获取的合成缓和比校正第一WB校正值(WBCol_R1、WBCol_G1、WBCol_B1)和第二WB校正值(WBCol_R2，WBCol_G2，WBCol_B2)，如下所示：

WBCol_R1＝WBCol_R1+(WBCol_R2-WBCol_R1)×0.5×合成缓和比

WBCol_G1＝WBCol_G1+(WBCol_G2-WBCol_G1)×0.5×合成缓和比

WBCol_B1＝WBCol_B1+(WBCol_B2-WBCol_B1)×0.5×合成缓和比

WBCol_R2＝WBCol_R2+(WBCol_R1-WBCol_R2)×0.5×合成缓和比

WBCol_G2＝WBCol_G2+(WBCol_G1-WBCol_G2)×0.5×合成缓和比

WBCol_B2＝WBCol_B2+(WBCol_B1-WBCol_B2)×0.5×合成缓和比。

通过上述校正，第一和第二WB校正值被校正为使得第一和第二WB校正值的WB校正值随着上升的合成缓和比而彼此更加接近。在这点上，WB控制电路103校正第一和第二WB校正值的两个WB校正值，以使其彼此更加接近，或者固定第一和第二WB校正值中的任一个WB校正值，并校正另一个WB校正值，以使其更加接近固定的WB校正值。

在步骤S704中，WB控制电路103使用上述第一WB校正值由使用闪光灯的图像数据对图像数据Yuv1进行显像(develop)。在步骤S705中，WB控制电路103使用上述第二WB校正值由不使用闪光灯的图像数据对图像数据Yuv2进行显像。在步骤S706中，WB控制电路103将使用闪光灯的图像数据、不使用闪光灯的图像数据、图像数据Yuv1和图像数据Yuv2中的各个分割为“N”个块。

在步骤S707中，WB控制电路103对各颜色的像素值进行相加和平均，以计算不使用闪光灯的图像数据的各块(1至“n”)的颜色平均值(R2[i]、G2[i]和B2[i])，然后计算各块的亮度值a[i]。用于计算各块的亮度值a[i]的公式表示为以下示出的公式。在本文中，计算的各块的亮度值a[i]被定义为各块的外部光的亮度分量(以下简称“外部光分量”)。a[i]＝0.3*R2[i]+0.6*G2[i]+0.1*B2[i]

在步骤S708中，与用于由不使用闪光灯的图像数据计算各块的亮度值a[i]的处理类似，WB控制电路103对各颜色的像素值进行相加和平均，以计算使用闪光灯的图像数据的各块(1至“n”)的颜色平均值(R1[i]、G1[i]和B1[i])，然后计算各块的亮度值b[i]。如以下公式所示，WB控制电路103通过从计算出的各块的亮度值b[i]中减去不使用闪光灯的图像数据的各对应块的亮度a[i]，来计算各块的闪光灯光的亮度分量c[i](以下简称为“闪光灯分量”)。

c[i]＝b[i]-a[i]

在步骤S709中，根据以下所示的公式，WB控制电路103基于各对应块的闪光灯分量c[i]和外部光分量a[i]的比率计算图像数据Yuv1与图像数据Yuv2合成时的各块的混合比α[i]。

α[i]＝c[i]/(a[i]+c[i])

在步骤S710中，WB控制电路103使用各块的混合比α[i]将图像数据Yuv1与图像数据Yuv2合成以生成合成的图像数据Yuv3。使用图像数据Yuv1的颜色评估值(Y1[i]、u1[i]和v1[i])和图像数据Yuv2的颜色评估值(Y2[i]、u2[i]和v2[i])根据以下所示的公式计算合成的图像数据Yuv3的颜色评估值(Y3[i]、u3[i]和v3[i])。

Y3[i]＝Y1[i]*α[i]+Y2[i]*(1-α[i])

u3[i]＝u1[i]*α[i]+u2[i]*(1-α[i])

v3[i]＝v1[i]*α[i]+v2[i]*(1-α[i])

为了减小在块的边缘部分的色调变化，在步骤S709中，可以通过进行像素插值处理，基于各块的混合比α[i]计算各像素的混合比α′[j]。例如，WB控制电路103使用双线性插值作为像素插值处理基于各块的混合比α[i]计算各像素的混合比α′[j]。在这点上，在步骤S710中，WB控制电路103使用各像素的混合比α′[j]将图像数据Yuv1与图像数据Yuv2合成以生成合成的图像数据Yuv3。

使用图像数据Yuv1的颜色评估值(Y1[j]、u1[j]和v1[j])和图像数据Yuv2的颜色评估值(Y2[j]、u2[j]和v2[j])通过以下所示的公式计算图像数据Yuv3的颜色评估值(Y3[j]、u3[j]和v3[j])。

Y3[j]＝Y1[j]*α′[j]+Y2[j]*(1-α′[j])

u3[j]＝u1[j]*α′[j]+u2[j]*(1-α′[j])

v3[j]＝v1[j]*α′[j]+v2[j]*(1-α′[j])

此外，在步骤S710中，通过根据使用闪光灯的图像数据中各块的亮度值确定是否进行各块的图像合成处理，处理是可变的。换句话说，当各块的亮度值高或低时，不对块进行图像数据的合成处理，但使用通过以下描述的通常的白平衡控制计算的WB校正值来进行图像数据的显像处理。

另一方面，当块的亮度值不低也不高时，进行与上述图像数据的合成处理相同的处理。可以按照相等比率合成图像数据Yuv1的信号分量和图像数据Yuv2的信号分量。

接下来，将详细描述通常的白平衡控制方法。首先，与上述WB校正值的计算处理类似，WB控制电路103计算第一和第二WB校正值。接下来，WB控制电路103进行第一和第二WB校正值的混合(求和并相加)处理。混合(求和并相加)处理根据照射被摄体的外部光和闪光灯光的照射比进行求和并相加。

参照图9，将描述用于计算照射比的被摄体区域的剪辑。WB控制电路103获取在测试发光之前拍摄的图像数据901，并由在测试发光之前拍摄的图像数据901计算包括“m”דn”的矩阵的亮度块(a)902。接下来，通过在与测试发光之前相同的条件下进行测试发光，WB控制电路103获取在测试发光期间拍摄的图像数据903，并且同样获取包括“m”דn”的矩阵的亮度块(b)904。

亮度块(a)902和亮度块(b)904被临时存储在摄像装置所包括的随机存取存储器(RAM)中。在测试发光之前拍摄的图像数据901的背景图像和在测试发光期间拍摄的图像数据903的背景图像没有实质性的差异。因此，亮度块(a)902与亮度块(b)904之间的差分数据变为在测试发光期间被摄体区域中的反射光，使得能够基于差分数据获取被摄体位置信息(c)905。

WB控制电路103基于如上所述计算的被摄体位置信息(c)905获取值为1的被摄体位置块，并计算在被摄体位置块中使用闪光灯的亮度值Y1和不使用闪光灯的亮度值Y2。当“使用闪光灯”和“不使用闪光灯”的曝光条件彼此不同时，WB控制电路103将条件固定为相同，然后在相同的曝光条件下计算亮度值Y1和Y2。

上述计算的亮度值Y1和Y2的比用作用于照射被摄体的光量的比。WB控制电路103使用第一和第二WB校正值以该光量的比进行混合处理(求和并相加)。WB控制电路103确定通过混合处理获取的WB校正值作为要用于WB处理的WB校正值，并对图像数据进行显像以生成最终的图像数据。

根据上述示例性实施例，当被摄体和背景都适当地在使用闪光灯拍摄的场景中着色时，能够减小在移动被摄体和摄像装置时在边缘部分的色调变化，因此能够提供用户期望的图像。

此外，根据本示例性实施例，在移动被摄体和摄像装置的情况下，不需要设置用于将应用于被摄体和背景的各白平衡校正值之间的差限定在预定区域内的限制。因此，当被摄体和摄像装置保持静止时，能够以最适当的颜色对被摄体和背景着色。

图10例示了根据本发明的示例性实施例的摄像装置的另一配置。图像处理装置包括校正值计算单元1001、差计算单元1002、移动量计算单元1003、校正单元1004、显像单元1005、分量计算单元1006、合成比计算单元1007和合成单元1008。

校正值计算单元1001基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值。差计算单元1002计算第一白平衡校正值与第二白平衡校正值之间的色温差。移动量计算单元1003计算被摄体和图像处理装置中的至少一个的移动量。校正单元1004基于色温差和移动量中的至少一个校正第一白平衡校正值和第二白平衡校正值。显像单元1005基于由校正单元1004校正的第一白平衡校正值由使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于由校正单元1004校正的第二白平衡校正值由不使用闪光灯拍摄的图像数据对第二图像数据进行显像。分量计算单元1006基于不使用闪光灯拍摄的图像数据的亮度值以及使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量。合成比计算单元1007基于外部光的亮度分量和闪光灯光的亮度分量计算第一图像数据和第二图像数据的合成比。合成单元1008根据合成比将第一图像数据与第二图像数据进行合成。

合成比计算单元1007可以被配置为基于各块中的外部光的亮度分量和闪光灯光的亮度分量计算各块的第一图像数据和第二图像数据的合成比。合成比计算单元1007还可以被配置为通过像素插值处理基于各块的合成比计算各像素的合成比。合成单元1008可以被配置为根据各块的亮度值控制是否对可适用的块进行合成处理。校正值计算单元1001可以被配置为计算第二白平衡校正值以保留光源的任意色调。移动量计算单元1003可以被配置为基于通过惯性传感器对图像处理装置的移动的检测结果、以及基于使用闪光灯拍摄的图像数据和不使用闪光灯拍摄的图像数据对被摄体的移动的分析结果中的至少一个，计算图像处理装置和被摄体中的至少一个的移动量。校正单元1004可以被配置为校正第一白平衡校正值和第二白平衡校正值以使二者相互更加接近，或在固定第一白平衡校正值和第二白平衡校正值中的一个的同时，校正第一白平衡校正值和第二白平衡校正值中的另一个，以使第一白平衡校正值和第二白平衡校正值中的所述另一个与第一白平衡校正值和第二白平衡校正值中的所述一个更加接近。

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变形例以及等同的结构和功能。

Claims (8)

1.一种图像处理装置，所述图像处理装置包括：

校正值计算单元，其被配置为基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值；

差计算单元，其被配置为计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差；

移动量计算单元，其被配置为计算被摄体和所述图像处理装置中的至少一个的移动量；

校正单元，其被配置为基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值；

显像单元，其被配置为基于由所述校正单元校正的所述第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于由所述校正单元校正的所述第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像；

分量计算单元，其被配置为基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量；

合成比计算单元，其被配置为基于所述外部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及

合成单元，其被配置为根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。

2.根据权利要求1所述的图像处理装置，其中，所述合成比计算单元基于各块中的所述外部光的亮度分量和所述闪光灯光的亮度分量计算各块的所述第一图像数据和所述第二图像数据的合成比。

3.根据权利要求2所述的图像处理装置，其中，所述合成比计算单元通过像素插值处理，基于各块的合成比计算各像素的合成比。

4.根据权利要求1所述的图像处理装置，其中，所述合成单元根据各块的亮度值控制是否对可适用的块进行合成处理。

5.根据权利要求1所述的图像处理装置，其中，所述校正值计算单元计算所述第二白平衡校正值以保留光源的任意色调。

6.根据权利要求1所述的图像处理装置，其中，所述移动量计算单元基于通过惯性传感器对所述图像处理装置的移动的检测结果、和基于所述使用闪光灯拍摄的图像数据和所述不使用闪光灯拍摄的图像数据对所述被摄体的移动的分析结果中的至少一个，计算所述图像处理装置和所述被摄体中的至少一个的移动量。

7.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值以使二者相互更加接近，或在固定所述第一白平衡校正值和所述第二白平衡校正值中的一个的同时，校正所述第一白平衡校正值和所述第二白平衡校正值中的另一个，以使所述第一白平衡校正值和所述第二白平衡校正值中的所述另一个与所述第一白平衡校正值和所述第二白平衡校正值中的所述一个更加接近。

8.一种图像处理方法，所述图像处理方法包括：

基于使用闪光灯拍摄的图像数据计算第一白平衡校正值，并基于不使用闪光灯拍摄的图像数据计算第二白平衡校正值；

计算所述第一白平衡校正值与所述第二白平衡校正值之间的色温差；

计算被摄体和图像处理装置中的至少一个的移动量；

基于所述色温差和所述移动量中的至少一个校正所述第一白平衡校正值和所述第二白平衡校正值；

基于所校正的第一白平衡校正值由所述使用闪光灯拍摄的图像数据对第一图像数据进行显像，并基于所校正的第二白平衡校正值由所述不使用闪光灯拍摄的图像数据对第二图像数据进行显像；

基于所述不使用闪光灯拍摄的图像数据的亮度值和所述使用闪光灯拍摄的图像数据的亮度值，计算外部光的亮度分量和闪光灯光的亮度分量；

基于所述外部光的亮度分量和所述闪光灯光的亮度分量计算所述第一图像数据和所述第二图像数据的合成比；以及

根据所述合成比将所述第一图像数据与所述第二图像数据进行合成。

Images