CN102769760A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法。该图像处理设备将闪光灯不发光时拍摄的图像数据分割成多个区域，计算各分割区域的颜色评估值。该设备将闪光灯发光时拍摄的图像数据分割成多个区域并且计算各分割区域的颜色评估值。该设备根据计算出的颜色评估值确定多个区域中的各区域的移动。该设备根据所确定的移动对图像数据进行白平衡处理。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及由摄像设备拍摄的图像的白平衡校正。

背景技术

使用图像传感器的摄像设备(例如数字照相机和数字摄像机)配备有用于调整通过摄像操作拍摄的图像的色调的白平衡控制功能。该白平衡控制包括手动白平衡控制和自动白平衡控制。手动白平衡控制通过预先拍摄白色被摄体来计算白平衡系数，并将计算出的白平衡系数应用于整个画面。自动白平衡控制从拍摄的图像中自动检测可能的白色部分，基于整个画面中的各颜色成分的平均值来计算白平衡系数，并将计算出的白平衡系数应用于整个画面。

即使在摄像设备在闪光灯发光的同时拍摄图像的场景中存在不同于闪光灯光的光源，传统的自动白平衡控制也将如上所述计算出的白平衡系数应用于整个画面。因此，难以进行白平衡控制以对这两个光源实现适当的色调。例如，在摄像设备使作为高色温光源的闪光灯发光的场景中，如果环境光包含低色温光源(例如电灯泡色光源)，则基于闪光灯光控制白平衡会导致对于环境光中的低色温光源不适当的白平衡。另一方面，基于环境光中的低色温光源控制白平衡会导致对于闪光灯光不适当的白平衡。此外，即使摄像设备通过对各光源的中间调整白平衡来进行白平衡控制，也会导致对于这两个光源不适当的白平衡，从而导致产生使用闪光灯光照射的区域略带蓝色而使用低色温光源照射的区域略带红色的图像。

为了解决该问题，日本专利3540485号中讨论了如下技术。该技术通过针对各任意被摄体区域，比较闪光灯发光时拍摄的图像数据与闪光灯不发光时拍摄的图像数据，来计算数据比，并基于计算出的比值确定闪光灯光的贡献度。该技术通过根据贡献度选择在闪光灯光曝光下拍摄的视频数据的各区域的白平衡控制值，来进行白平衡控制。

日本专利4389671号中讨论了如下技术。该技术从闪光灯发光时拍摄的图像和闪光灯不发光时拍摄的图像中提取闪光灯光成分。该技术根据各闪光灯光成分检测在切换白平衡控制时被摄体模糊的区域，使用插值计算被摄体不模糊的区域的白平衡系数以及被摄体模糊的区域的白平衡系数，并将计算出的系数应用于图像数据。为了检测被摄体模糊的区域，需要检测图像数据的高频成分。

日本专利3540485号中讨论的传统技术必须通过计算闪光灯发光时拍摄的图像数据与闪光灯不发光时拍摄的图像数据之间的差来推定闪光灯光的照射量，并根据所推定的照射量进行白平衡控制。然而，当被摄体移动时，不可能正确地推定照射量并进行白平衡控制。结果，在图像数据中产生斑点图案，并且不能获得高质量图像。

日本专利4389671号中讨论的传统技术采用通过检测高频成分来检测被摄体模糊的区域的方法。然而，不可能区分图像数据原有的高频成分与由被摄体模糊和手抖所致模糊引起的高频成分。结果，不能进行最佳的白平衡控制，并且不能获得高质量图像。

发明内容

本发明的特征在于针对多个图像区域中的各个进行最佳的白平衡控制。

根据本发明的一方面，提供了一种图像处理设备，其包括：第一评估值计算单元，其被配置为将(闪光灯不发光时拍摄的)图像数据分割成多个区域并且计算各区域的第一颜色评估值；第二评估值计算单元，其被配置成将(闪光灯发光时拍摄的)图像数据分割成多个区域并且计算各区域的第二颜色评估值；移动确定单元，其被配置为基于所述第一颜色评估值和所述第二颜色评估值确定各区域的移动；以及处理单元，其被配置为基于由所述移动确定单元确定的移动对图像数据进行白平衡处理。

根据本发明的另一方面，提供了一种图像处理方法，其包括：第一评估值计算步骤，将(闪光灯不发光时拍摄的)图像数据分割成多个区域并且计算各区域的第一颜色评估值；第二评估值计算步骤，将(闪光灯发光时拍摄的)图像数据分割成多个区域并且计算各区域的第二颜色评估值；移动确定步骤，基于所述第一颜色评估值和所述第二颜色评估值确定各区域的移动；以及处理步骤，基于在所述移动确定步骤中确定的移动对图像数据进行白平衡处理。通过以下(参照附图)对示例性实施例的描述，本发明的其他方面将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。

图1是例示根据本发明的示例性实施例的图像感测设备的电路配置的示例的框图。

图2是例示WB系数计算处理的流程图。

图3A和图3B是用于白检测(white detection)的图。

图4A和图4B是说明色温与Cx-Cy值之间关系的图和图表。

图5是例示图像拍摄的控制序列的时序图。

图6是例示静止图像拍摄驱动模式的WB系数以及EVF拍摄驱动模式的WB系数的图。

图7是例示该示例性实施例中的图像感测设备的功能结构的框图。

图8是例示闪光图像与非闪光图像之间被摄体移动的确定处理的流程图。

图9A和图9B是例示根据各块的颜色评估值的差的相加值计算移动量的处理的图。

图10是例示根据移动量与色温差之间的关系确定的组合比的示例的图。

图11是例示图像组合处理的流程图。

具体实施方式

下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。

在下文中，将参照附图详细描述本发明适用的图像处理设备的示例性实施例。

图1是例示根据本示例性实施例的图像感测设备(数字照相机)的电路配置的示例的框图。参照图1，固态图像传感器101是例如由电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)构成的图像传感器。固态图像传感器101的表面例如覆盖有RGB滤色器(例如拜尔阵列)，从而能够进行彩色照相。

中央处理单元(CPU)114计算使得照亮整个图像的快门速度和光圈值，并且计算聚焦镜头的驱动量，从而聚焦到位于聚焦范围内的被摄体上。然后，由CPU 114计算出的信息，即曝光值(快门速度和光圈值)和聚焦镜头的驱动量，被发送到镜筒装置控制电路113，并且根据相应的值控制镜筒装置115。类似地，当对闪光灯的发光量进行控制时，CPU 114计算闪光灯的发光量并且使闪光灯发光装置116以预定的光量发光。

白平衡(WB)控制电路103基于存储在存储器102中的图像信号计算白平衡(WB)系数，并且使用计算出的WB系数对存储在存储器102中的图像信号施加WB校正。稍后描述WB控制电路103的配置和计算WB系数的方法的细节。

颜色矩阵电路104通过将WB控制电路103已经施加WB校正的图像信号乘以颜色增益而将该图像信号转换为色差信号R-Y/B-Y，使得能够由最佳颜色再现该图像信号。低通滤波器(LPF)电路105是限制色差信号R-Y/B-Y的频带的电路。色度(chroma)抑制(CSUP)电路106是去除由LPF电路105限制的频带的图像信号的饱和部分的伪色信号的电路。另一方面，WB控制电路103已经施加WB校正的图像信号还被输出到亮度信号生成电路111。亮度信号生成电路111基于输入图像信号生成亮度信号Y。边缘增强电路112对所生成的亮度信号Y施加边缘增强处理。

RGB转换电路107将来自CSUP电路106的色差信号R-Y/B-Y以及从边缘增强电路112输出的亮度信号Y转换为RGB信号。伽马校正电路108对转换后的RGB信号施加灰度校正。之后，颜色亮度转换电路109将具有校正后的灰度的RGB信号转换为YUV信号。此外，压缩电路110例如通过JPEG(联合图像专家组)方法压缩转换后的YUV信号，并且将压缩后的数据存储在外部或内部记录介质中作为图像信号。

接下来，将详细描述WB控制电路103计算WB系数的方法。首先，参照图2中例示的流程图，第一WB系数是在闪光灯发光时拍摄的图像(在下文中将该状态称为“闪光图像”)的WB系数。基于闪光图像计算第一WB系数。

首先，在步骤S201中，WB控制电路103读出存储在存储器102中的闪光图像，并且将该图像数据分割为任意数目m个块。然后，在步骤S202中，针对该m个块中的各个，WB控制电路103平均各颜色的像素值以计算颜色平均值(R[i]，G[i]，B[i])。然后，WB控制电路103还利用如下等式(1)计算颜色评估值(Cx[i]，Cy[i])。

[等式1]

Cx[i]＝(R[i]-B[i])/Y[i]×1024

Cy[i]＝(R[i]+B[i]-2G[i])/Y[i]×1024

(其中，Y[i]＝(R[i]+2G[i]+B[i])/4)

WB控制电路103利用图3A和图3B中示出的具有轴的图进行白检测。在图3A中，x轴(Cx)的负方向代表当以高色温拍摄白色被摄体时的颜色评估值。而x轴的正方向代表当以低色温拍摄白色被摄体时的颜色评估值。此外，y轴(Cy)代表光源的绿色成分的程度。随着该值在y轴的负方向上增加，绿色成分增加，这表示该光源是荧光灯。

图4A是说明色温与Cx-Cy值之间关系的图。图4B是列出各色温的Cx值和Cy值的图表。通过利用其色温已知并且对应于黑体轨迹的点的光源来获取图像数据，并且计算Cx值和Cy值，色温与Cx-Cy值之间的关系变得清楚。不仅色温与Cx-Cy值之间的关系清楚，而且诸如白色荧光灯的偏绿和偏红的光源与Cx-Cy值之间的关系也变得清楚。此外，通过获取发光色温与Cx值和Cy值之间的关系并且基于该关系指定发光色温，来计算闪光灯光的Cx值和Cy值。

在步骤S203中，WB控制电路103确定在步骤S202中计算出的第i个块的颜色评估值(Cx[i]，Cy[i])是否位于图3A中所示的预置白检测范围301内。图3A中所示的白检测范围301是有限检测范围，因为这是在闪光灯的光源下检测白色。如果计算出的颜色评估值(Cx[i]，Cy[i])位于白检测范围301内，则处理前进到步骤S204。另一方面，如果该值(Cx[i]，Cy[i])不位于白检测范围301内，则处理跳过步骤S204，并且前进到步骤S205。

在步骤S204中，WB控制电路103确定第i个块为白色，并且利用如下等式(2)将颜色平均值(R[i]，G[i]，B[i])相加。

[等式2]

$\mathrm{SumR}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×R\left[i\right]$

$\mathrm{SumG}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×G\left[i\right]$

$\mathrm{SumB}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×B\left[i\right]$

在等式(2)中，如果颜色评估值(Cx[i]，Cy[i])位于白检测范围301内，则将Sw[i]设置为1，而如果颜色评估值(Cx[i]，Cy[i])不位于白检测范围301内，则将Sw[i]设置为0。以这种方式设置Sw[i]使得WB控制电路103能够进行或跳过颜色平均值(R[i]，G[i]，B[i])的相加。

随后在步骤S205中，WB控制电路103确定WB控制电路103是否已经针对所有块决定了颜色评估值是否位于白检测范围301内。作为步骤S205中的确定结果，如果还有要被处理的块(步骤S205中的“否”)，则处理返回到步骤S202。如果所有块都被处理了(步骤S205中的“是”)，则处理前进到下一个步骤，即步骤S206。

随后在步骤S206中，WB控制电路103利用如下等式(3)基于所确定的颜色平均值的相加值(SumR1，SumG1，SumB1)，来计算第一WB系数(WBcol_R1，WBcol_G1，WBcol_B1)。

WBcol_R1＝sumY1×1024/sumR1

WBcol_G1＝sumY1×1024/sumG1

WBcol_B1＝sumY1×1024/sumB1

(其中，sumY1＝(sumR1+2×sumG1+sumB1)/4)

作为选择，可以预先将针对闪光灯光的第一WB系数设置为已知值。

接下来，将描述用于计算第二WB系数的方法。基于闪光灯不发光时拍摄的图像数据(在下文中将该状态称为“非闪光图像”)计算第二WB系数。图5例示以时间顺序排列的图像拍摄控制。参照图5，在快门按钮被半按下(在下文中将该状态称为“SW1”)之前数字照相机定期拍摄实时取景(live view)图像。当数字照相机被设置为SW1状态时，数字照相机启动自动聚焦(AF)锁定和自动曝光(AE)锁定。此外，当快门按钮被全按下时(在下文中将该状态称为“SW2”)，数字照相机使闪光灯发光作为测试发光，然后进行主曝光。在本示例性实施例中，非闪光图像对应于在由图5中“外部光”表示的时间段期间曝光的图像数据，该图像数据是在测试发光之前被拍摄的。作为选择，非闪光图像可以是主曝光之后曝光并拍摄的图像数据或者是实时取景图像数据。

与上述用于计算第一WB系数值的方法类似，由WB控制电路103进行用于计算第二WB系数的方法。与计算第一WB系数的差别在于使用针对外部光的白检测范围，如图3B中所示的白检测范围302表示的。这是因为闪光灯是已知光源，而外部光是未知光源，因此不可能对与闪光灯发光相对应的白检测范围(相当于白检测范围301)设置限制。通过预先在不同光源下拍摄白色并且沿着黑体轨迹标绘计算出的颜色评估值来定义图3B中所示的白检测范围302。可以将白检测范围302设置为使得根据拍摄模式而具有不同的范围。甚至可以将第二WB系数应用于不同的摄像驱动模式。例如，可以将过去计算出的电子取景器(EVF)的WB系数用作第二WB系数。然而，在此情况下，根据驱动模式而产生光谱差异。在图6中示出静止图像拍摄驱动模式和EVF图像拍摄驱动模式的WB系数。当WB控制电路103利用之前在EVF图像拍摄驱动模式中获得的WB系数EvfCx和EvfCy 601计算静止图像拍摄驱动模式的WB系数时，WB控制电路103将EvfCx和EvfCy校正了如图6中所示的ΔCx和ΔCy。然后计算静止图像拍摄驱动模式的第二WB系数CapCx和CapCy602。

图7是例示根据本示例性实施例的图像感测设备的功能结构的框图。该图像感测设备响应于拍摄的指定存储非闪光图像702和闪光图像700。外部光WB系数计算部707基于非闪光图像计算针对外部光的WB系数。第一WB处理部708通过将针对外部光的WB系数乘以闪光图像700进行WB(白平衡)处理。第一显像处理部712显像(develop)对其处理白平衡的闪光图像700，并且生成外部光的YUV图像数据。针对外部光的WB系数的计算方法类似于上述第二WB系数的计算方法。

闪光灯光WB系数计算部711根据表示所发射的闪光的量的发光量信息710计算针对闪光灯光的WB系数。第二WB处理部709通过将该WB系数乘以闪光图像700进行WB处理。第二显像处理部713显像由第二WB处理部709处理的闪光图像700以生成闪光灯光的YUV图像数据。在该显像处理中，可以通过利用第一WB系数对闪光图像700进行WB处理来生成闪光灯光的YUV图像数据。

尺寸调整处理部701将闪光图像700的尺寸转换为非闪光图像702的尺寸，将尺寸调整后的图像数据分割为多个块，并且计算所分割的块的平均值的积分值。类似地，尺寸调整处理部701将非闪光图像702分割为多个块，并计算所分割的块的平均值的积分值。当进行这些处理时，闪光图像700中的各块的张角(field angle)被设置为与非闪光图像702中的各块的张角相同。曝光量计算部703根据主曝光参数与外部光曝光参数的关系计算主曝光量与针对外部光设置的曝光量之间的差。所述参数包括灵敏度、光圈量和快门速度。曝光量计算部703将非闪光图像702的颜色平均值的积分值改变为不被闪光灯照射的区域的颜色平均值的积分值，使得这两个曝光量成为相同的量。照射量计算部704计算各块的闪光照射量。外部光图像颜色信息获取部722基于非闪光图像702计算颜色评估值。主曝光图像颜色获取部720从尺寸调整处理部701获取闪光图像700的平均颜色值的积分值。主曝光图像颜色校正部721根据各块的闪光照射量对由主曝光图像颜色信息获取部720获取的闪光图像700的积分值进行WB校正，并且获取闪光图像700的颜色评估值。

移动量推定部723计算由主曝光图像颜色校正部721计算出的闪光图像700的颜色评估值与由外部光图像颜色信息获取部722计算出的非闪光图像702的颜色评估值之间的差，作为被摄体的移动量。图像组合比确定部705根据闪光照射量和被摄体的移动量确定各块的组合比。尺寸调整处理部706放大各块的比，使得放大后的比的大小与非闪光图像702的大小相同。图像组合处理部714组合从第一显像处理部输出的YUV图像数据和从第二显像处理部输出的YUV图像数据。

图8是例示闪光灯发光时的图像数据(闪光图像)700与闪光灯不发光时的图像数据(非闪光图像)702之间被摄体移动的确定处理的流程图。

在步骤S801中，如图5中所示，在保持SW1期间，当作为拍摄指令而按下SW2时，外部光图像颜色信息获取部722获取最新的非闪光图像702。在步骤S802中，外部光图像颜色信息获取部722通过将各颜色的像素数据相加并求平均，来计算非闪光图像702的各块(1至n)的颜色平均值(R2[i]，G2[i]，B2[i])。外部光图像颜色信息获取部722利用如下等式(4)计算非闪光图像702的颜色评估值WCx_evf，WCy_evf。

[等式4]

R2′[i]＝WB_R_evf[i]×R2[i]

G2′[i]＝WB_G_evf[i]×G2[i]

B2′[i]＝WB_B_evf[i]×B2[i]

WCx_evf[i]＝(R2′[i]-B2′[i])/Y2′[i]×1024

WCy_evf[i]＝(R2′[i]+B2′[i]-2G2′[i])/Y2′[i]×1024

(其中，Y2′[i]＝(R2′[i]+2G2′[i]+B2′[i])/4)

在该等式中，WB_R_evf是外部光的红色(R)的WB系数，WB_G_evf是外部光的绿色(G)的WB系数，WB_B_evf是外部光的蓝色(B)的WB系数。

在步骤S803中，主曝光图像颜色信息获取部720获取闪光图像700。在步骤S804中，主曝光图像颜色校正部721从发光量信息710中获取闪光灯光的色温(在下文中将该状态称为“闪光色温”)。由于通过作为氙灯的发光特性的色温与发光时间段之间的关系确定闪光色温，所以也基于如上所述的发光量信息710计算针对闪光灯光的WB系数。

在步骤S805中，主曝光图像颜色信息获取部720通过平均各颜色的像素值计算颜色平均值(R1[i]，G1[i]，B1[i])。针对在步骤S803中获取的闪光图像700中的各块(1至n)进行该计算。

在步骤S806中，如等式(5)中所示，外部光图像颜色信息获取部722根据在步骤S802中计算出的非闪光图像702的各块的颜色平均值计算外部光的亮度元素a[i]。如等式(5)中所示，主曝光图像颜色信息获取部720根据在步骤S805中计算出的闪光图像700的各块的颜色平均值计算亮度元素b[i]。此外，如等式(5)中所示，主曝光图像颜色信息获取部720将闪光灯光的亮度元素c[i]计算为上述亮度元素的差。

[等式5]

a[i]＝0.3*R2[i]+0.6*G2[i]+0.1*B2[i]

b[i]＝0.3*R1[i]+0.6*G1[i]+0.1*B1[i]

c[i]＝b[i]-a[i]

当闪光图像700的曝光量和灵敏度的有关设置不同于非闪光图像702的设置时，主曝光图像颜色信息获取部720针对外部光的亮度元素a[i]校正曝光差。该校正使得能够计算闪光灯光的亮度元素。

在步骤S807中，主曝光图像颜色校正部721根据在步骤S806中计算出的亮度元素c[i]以及在步骤S804中获得的闪光色温，来计算闪光图像700的颜色评估值。

主曝光图像颜色校正部721针对各块根据等式(6)计算混合比α。

[等式6]

α[i]＝c[i]/(a[i]+c[i])

主曝光图像颜色校正部721根据针对外部光的WB系数、针对闪光灯光的WB系数和混合比α计算针对主曝光的WB系数。更具体来说，通过如下等式(7)计算针对主曝光的WB系数。在该等式中，WB_X_cap[i](X是R，G或B)是主曝光的颜色X的WB系数，WB_X_evf[i](X是R，G或B)是外部光的颜色X的WB系数，WB_X_flash[i](X是R，G或B)是闪光灯光的颜色X的WB系数。

[等式7]

WB_R_cap[i]＝WB_R_evf[i]×(1-α[i])+WB_R_flash[i]×α[i]

WB_G_cap[i]＝WB_G_evf[i]×(1-α[i])+WB_G_flash[i]×α[i]

WB_B_cap[i]＝WB_B_evf[i]×(1-α[i])+WB_B_flash[i]×α[i]

主曝光图像颜色校正部721计算颜色评估值WCx_cap[i]和WCy_cap[i]。更具体来说，通过如下等式(8)计算WCx_cap[i]和WCy_cap[i]。

[等式8]

R1′[i]＝WB_R_cap[i]×R1[i]

G1′[i]＝WB_G_cap[i]×G1[i]

B 1′[i]＝WB_B_cap[i]×B 1[i]

WCx_cap[i]＝(R1′[i]-B1′[i])/Y1′[i]×1024

WCy_cap[i]＝(R1′[i]+B1′[i]-2G1′[i])/Y1′[i]×1024

其中，Y1′[i]＝(R1′[i]+2G1′[i]+B1′[i])/4

在步骤S808中，主曝光图像颜色校正部721计算闪光图像700的颜色评估值与非闪光图像702的颜色评估值之间的差。更具体来说，通过如下等式(9)计算差ΔWCx和ΔWCy。

[等式9]

ΔWCx＝|WCx_cap[i]-WCx_evf[i]|

ΔWCy＝|WCy_cap[i]-WCy_evf[i]|

接下来，主曝光图像颜色校正部721利用如下等式(10)计算颜色评估值的相加值。

[等式10]

ΔWCxCy＝ΔWCx+ΔWCy

基于闪光图像700的亮度值与非闪光图像702的亮度值之间的差计算闪光照射量。当被摄体不动时，该照射量被适当地计算。当被摄体或光源不动，并且闪光照射量的计算正确时，WB系数和颜色评估值被适当地计算。另一方面，当被摄体移动或者光源的量快速变化时，闪光照射量的推定容易失败，并且WB系数没有被适当地计算。结果，颜色评估值没有被适当地计算。因此，根据颜色评估值的差能够确定是否存在被摄体的移动或者光源的变化。

在步骤S809中，移动量推定部723根据针对各块计算出的颜色评估值的差的总和，来计算移动量。

图9A和图9B是示出根据各块的颜色评估值的差的总和计算移动量的处理的图。图9A和图9B中块中的数字表示颜色值的差ΔWCxCy。

移动量推定部723将预定阈值应用于总和值ΔWCxCy。图9A例示了如下示例应用：阈值Th是50并且移动量推定部723确定总和值ΔWCxCy大于该阈值的块是移动块。在该实施例中，该阈值是常数，但是它可以是根据非闪光图像702的颜色评估值WCx、WCy变化的变量。各颜色的灵敏度根据被摄体的颜色以及作为非闪光图像702的拍摄条件的色温而不同。因此，通过改变各颜色的灵敏度，移动量确定处理的准确度变得更高。

根据光源的色温将在被摄体的移动量确定处理中计算出的颜色评估值的差的总和值乘以WB系数。然而，不进行颜色元素的校正。能够正确地计算出灰色区域的值，但是在计算彩色区域的值时引起一定幅度的误差。例如，在低色温下拍摄的红色被摄体以及在高色温下拍摄的蓝色被摄体趋向于强烈地发出色彩。为了减小各色温的误差幅度，应该进行根据原始外部光的色温和针对外部光的WB系数的颜色校正以及各被摄体的校正。这些校正使计算更准确。

通过预先针对各色温以及所施加的WB系数计算非闪光图像702和闪光图像700的WCx和WCy的校正增益来实现该校正。例如，可以利用等式(11)根据WB系数和色温校正WCx和WCy。

[等式11]

$\left(\begin{array}{c}{\mathrm{WCx}}^{,}\\ {\mathrm{WCy}}^{,}\end{array}\right)=\left(\begin{array}{c}a,b\\ c,d\end{array}\right)\left(\begin{array}{c}\mathrm{WCx}\\ \mathrm{WCy}\end{array}\right)$

在该等式中，校正值a、b、c、d是使各色温的WCx和WCy与5000K的WCx和WCy相同的系数。这些值是通过拍摄各色温的颜色图而获得的。不用说，通过对已经获得的色温的校正值进行线性插值，能够计算没有获得的色温的校正值。该颜色转换处理与吸收多个色温之间的差的颜色再现矩阵具有相同的效果。利用这些处理的差值吸收，被摄体移动确定处理变得更准确。

图9B例示了组合彼此相邻的8个移动块的处理。在该实施例中，首先，在画面的水平方向(主扫描方向)上搜索移动块，其次，在垂直方向(副扫描方向)上搜索移动块。当检测到移动块时，执行右手搜索(righthand search)以计算组合块的尺寸。图9B中例示的示例表示如下情况：检测到一个4(垂直)×5(水平)个块的组合、一个2×2个块的组合、以及两个1×1个块的组合。根据上述检测结果，移动量推定部723提取最大块尺寸作为整个画面的移动。在执行8个相邻块的组合处理之前，可以通过对块进行中值过滤来去除例如由光源的闪烁或者氖灯的开关引起的小的移动。作为计算最大块尺寸的替代方式，可以计算移动块的总数、计算总的块尺寸、或者计算通过将颜色评估值的差与块数目相乘而获得的积分值。

接下来，描述当检测到被摄体移动时图像组合比确定部705的操作。图10是例示由移动量与色温差的关系确定的组合比的示例的图。在图10中，“移动量”对应于步骤S809中的移动块的数目。根据移动块的数目，“移动量”被分为5个水平。“色温差”表示外部光与闪光灯光之间的色温差。

图10中例示的表格中的数字表示针对主曝光的WB系数和针对外部光的WB系数的校正比。该数目越小，针对主曝光的WB系数和针对外部光的WB系数之间的差越小。通过等式(12)获得针对主曝光的WB系数和针对外部光的WB系数。

[等式12]

WB_R_evf[i]＝(WB_R_evf[i]-WB_R_awb)×S[i]+WB_R_awb

WB_G_evf[i]＝(WB_G_evf[i]-WB_G_awb)×S[i]+WB_G_awb

WB_B_evf′[i]＝(WB_B_evf[i]-WB_B_awb)×S[i]+WB_B_awb

WB_R_cap′[i]＝(WB_R_cap[i]-WB_R_awb)×S[i]+WB_R_awb

WB_G_cap′[i]＝(WB_G_cap[i]-WB_G_awb)×S[i]+WB_G_awb

WB_B_cap′[i]＝(WB_B_cap[i]-WB_B_awb)×S[i]+WB_B_awb

在等式(12)中，WB_X_awb(X是R，G或B)是自动白平衡模式的各颜色的WB系数。WB_X_cap(X是R，G或B)是主曝光的各颜色的WB系数。WB_X_evf(X是R，G或B)是外部光的各颜色的WB系数。

如上所述，当被摄体具有大移动量时，由于光照射量的计算出错的区域增加，所以在具有大移动量的区域中发生颜色渐变。另一方面，由于闪光灯光的色温一般很高，所以当在阴影条件下或者在冷色荧光下进行图像拍摄时，外部光与闪光灯光之间的色温差增加。在此情况下，由于外部光和闪光灯光本身的WB系数比较接近，所以难以出现颜色渐变并且被摄体移动的影响不大。另一方面，由于灯和闪光灯光之间色温差很大并且WB系数差也很大，所以容易出现颜色渐变并且被摄体移动的影响很大。因此，根据移动被摄体的移动以及外部光与闪光灯光之间的色温差二者，能够自动确定被摄体和背景引起颜色渐变。通过使针对主曝光的WB系数和针对闪光灯光的WB系数更接近输出白平衡的WB系数，能够减小图像组合引起的颜色渐变。

参照图11中例示的流程图描述图像组合处理。在步骤S1101中，第一WB处理部708利用针对外部光的WB系数进行闪光图像700的WB处理。接下来，第一显像处理部712显像由第一WB处理部处理的闪光图像700以生成外部光的YUV图像数据。在步骤S1102中，第二WB处理部709利用针对闪光灯光的WB系数进行闪光图像700的WB处理。第二显像处理部713显像由第二WB处理部处理的闪光图像700以生成闪光灯光的YUV图像数据。在步骤S1103中，图像组合处理部714组合外部光的YUV图像数据和闪光灯光的YUV图像数据以生成组合YUV图像数据。

利用闪光灯光的图像信号的颜色评估值(Y1[i]，u1[i]，v1[i])和外部光的图像信号的颜色评估值(Y2[i]，u2[i]，v2[i])计算该组合图像信号的颜色评估值(Y3[i]，u3[i]，v3[i])。更具体来说，通过如下等式(13)计算颜色评估值(Y3[i]，u3[i]，v3[i])。

[等式13]

Y3[i]＝Y1[i]×α[i]+Y2[i]×(1-α[i])

u3[i]＝u1[i]×α[i]+u2[i]×(1-α[i])

v3[i]＝v1[i]×α[i]+v2[i]×(1-α[i])

此时，为了减小可能在块之间的边界处产生的颜色变化，WB控制电路103可以进一步进行像素插值处理，以基于各块的组合比α[i]计算各像素的组合比α′[j]。例如，WB控制电路103利用双线性插值作为像素插值处理基于各块的组合比α[i]计算各像素的组合比α′[j]。此时，通过利用各像素的组合比α′[j]组合图像信号Yuv1和图像信号Yuv2，来生成组合图像信号Yuv3。利用图像信号Yuv1的颜色评估值(Y1[j]，u1[j]，v1[j])和图像信号Yuv2的颜色评估值(Y2[j]，u2[j]，v2[j])计算组合图像信号Yuv3的颜色评估值(Y3[j]，u3[j]，v3[j])。更具体来说，通过如下等式(14)计算颜色评估值(Y3[j]，u3[j]，v3[j])。

[等式14]

Y3[j]＝Y1[j]×α′[j]+Y2[j]×(1-α′[j])

u3[j]＝u1[j]×α′[j]+u2[j]×(1-α′[j])

v3[j]＝v1[j]×α′[j]+v2[j]×(1-α′[j])

以此方式，根据本示例性实施例，WB控制电路103确定用于组合两个图像数据的组合比。为了获得被摄体的色调和背景的色调二者都适当的组合图像数据，利用基于闪光灯发光时拍摄的图像数据以及闪光灯不发光时拍摄的图像数据获得的移动量来计算该组合比。通过该计算能够实现适当的WB控制。

其他实施例

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或微处理单元(MPU)(也被称为微处理器)的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供该程序。该计算机可读介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (10)

1.一种图像一种图像处理设备，其包括：

第一评估值计算单元，其被配置为将闪光灯不发光时拍摄的图像数据分割成多个区域并且计算各区域的第一颜色评估值；

第二评估值计算单元，其被配置成将闪光灯发光时拍摄的图像数据分割成多个区域并且计算各区域的第二颜色评估值；

移动确定单元，其被配置为基于所述第一颜色评估值和所述第二颜色评估值确定各区域的移动；以及

处理单元，其被配置为基于由所述移动确定单元确定的移动对图像数据进行白平衡处理。

2.根据权利要求1所述的图像处理设备，其中，所述第二评估值计算单元基于闪光灯光的亮度和色温，计算所述第二颜色评估值。

3.根据权利要求1所述的图像处理设备，其中，所述第一评估值计算单元通过将闪光灯不发光时拍摄的图像数据乘以闪光灯不发光时获得的光源的白平衡系数，来计算所述第一颜色评估值。

4.根据权利要求1所述的图像处理设备，其中，所述移动确定单元计算所述第一颜色评估值与所述第二颜色评估值之间的差，并且通过将计算出的差与预定阈值进行比较，来确定各区域的移动。

5.根据权利要求4所述的图像处理设备，其中，所述移动确定单元基于针对多个区域的移动确定结果，来确定图像的整个区域中的移动量。

6.根据权利要求5所述的图像处理设备，其中，所述移动确定单元组合被确定为发生移动的区域，并且通过组合区域的尺寸确定图像的整个区域中的移动量。

7.根据权利要求5所述的图像处理设备，其中，所述移动确定单元基于被确定为发生移动的区域的数目，来确定图像的整个区域中的移动量。

8.根据权利要求4所述的图像处理设备，其中，基于闪光灯不发光时拍摄的图像数据的颜色评估值确定所述预定阈值。

9.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

比确定单元，其被配置为确定用于组合第一组图像数据和第二组图像数据的比，其中，通过利用闪光灯不发光时获得的光源的白平衡系数进行白平衡处理而由闪光灯发光时拍摄的图像数据生成所述第一组图像数据，通过利用闪光灯发光时获得的光源的白平衡系数进行白平衡处理而由闪光灯发光时拍摄的图像数据生成所述第二组图像数据。

10.一种图像处理方法，其包括：

第一评估值计算步骤，将闪光灯不发光时拍摄的图像数据分割成多个区域并且计算各区域的第一颜色评估值；

第二评估值计算步骤，将闪光灯发光时拍摄的图像数据分割成多个区域并且计算各区域的第二颜色评估值；

移动确定步骤，基于所述第一颜色评估值和所述第二颜色评估值确定各区域的移动；以及

处理步骤，基于在所述移动确定步骤中确定的移动对图像数据进行白平衡处理。

Images