CN103139573A

CN103139573A - 用于调整白平衡的设备和方法

Info

Publication number: CN103139573A
Application number: CN2012104778944A
Authority: CN
Inventors: 石镇根; 朴宰希; 李庸求
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-11-22
Filing date: 2012-11-22
Publication date: 2013-06-05
Also published as: KR101896386B1; US20130128073A1; US8941757B2; KR20130056442A

Abstract

提供了一种用于调整白平衡的设备和方法，具体来说，提供了一种用于调整在复杂光源下捕捉的图像的白平衡的设备和方法。该设备包括：相机单元；控制器，用于控制从相机单元捕捉的图像识别面部图像，如果根据基于识别的面部图像的面部肤色计算出的白平衡增益和基于普通白平衡方案计算出的白平衡增益之间的比较，确定在复杂光源下捕捉到所述图像，则所述控制器用于基于通过对所述两个白平衡增益进行内插而提取的最终的白平衡增益来调整捕捉的图像的白平衡。

Description

用于调整白平衡的设备和方法

技术领域

本发明总体涉及一种用于调整白平衡的设备和方法。具体来说，本发明涉及一种用于调整在复杂光源下捕捉的图像的白平衡的设备和方法。

背景技术

相机通过自动白平衡(AWB)功能在任意光源下表现最合适的色彩。输入到相机的传感器中的光取决于光源的光谱和对象的反射光谱。当通过低色温光源或高色温光源对白色或灰色的对象曝光时，所述白色或灰色的对象被低色温光源表现为红色，被高色温光源表现为蓝色。AWB功能对此进行补偿(即，按原样表现白色)。

AWB功能允许在复杂光源下提取灰色区域，并且允许获得红色增益(Rgain：G/R)和蓝色增益(Bgain：G/B)，从而在该灰色区域中红色(R)、绿色(G)和蓝色(B)的百分比是相同的。Rgain和Bgain作为白平衡增益与整个图像中的每个像素相乘，其中，根据灰色区域来计算和应用所述白平衡增益，而不考虑图像中人脸的存在/不存在。

估计灰色区域是AWB技术的核心，多种技术在单一光源下显示出相对高的性能。然而，由于在复杂光源下可能存在具有不同反射光谱特性的各种灰色区域，因此难以提取合适的灰色区域，导致AWB性能下降。

具体来说，在通过高色温光源对人脸曝光而通过相对低色温光源对背景曝光的条件下捕捉的包括人脸的图像中，如果白平衡被调整为适合于背景，则面部颜色可能比实际的面部颜色表现的更蓝，导致面部显得毫无生气。

发明内容

本发明的多个方面至少解决上述问题和/或缺点，并且至少提供下面描述的优点。相应的，本发明的一方面在于提供一种用于调整在复杂光源下捕捉的图像的白平衡的设备和方法。

本发明的另一方面在于提供一种用于调整白平衡的设备和方法，以通过基于从捕捉的图像识别的面部图像的面部肤色来确定在复杂光源下捕捉的图像，并调整在复杂光源下捕捉的图像的白平衡，从而增强面部肤色的表现力。

根据本发明的一方面，提供了一种用于调整白平衡的设备。该设备包括：相机单元；控制器，用于控制从相机单元捕捉的图像识别面部图像，如果基于使用识别的面部图像的面部肤色计算出的白平衡增益和使用普通白平衡方案计算出的白平衡增益之间的比较，确定在复杂光源下捕捉到所述图像，则所述控制器基于通过对所述两个白平衡增益进行内插而提取的最终的白平衡增益来调整捕捉的图像的白平衡。

根据本发明的另一方面，提供了一种调整白平衡的方法。所述方法包括：从捕捉的图像识别面部图像；基于识别的面部图像的面部肤色计算白平衡增益，并基于普通白平衡方案计算白平衡增益，如果基于对计算出的两个白平衡增益之间的比较，确定在复杂光源下捕捉到所述图像，则基于通过对所述两个白平衡增益进行内插而提取的最终的白平衡增益来调整捕捉的图像的白平衡。

从以下结合附图公开本发明的示例性实施例的详细描述，本发明的其他方面、优点和显著特征对本领域的技术人员而言将变得清楚。

附图说明

从下面结合附图的描述中，本发明的特定示例性实施例的上述和其他目的、特征和优点将更加清楚，其中：

图1是根据本发明示例性实施例的无线终端的框图；

图2是示出根据本发明示例性实施例的在无线终端中调整在复杂光源下捕捉的图像的白平衡的处理的流程图；

图3是示出根据本发明示例性实施例的通过使用面部肤色来计算白平衡增益的处理的流程图；

图4是用于描述根据本发明示例性实施例的从捕捉的图像识别面部的功能的说明性示图；

图5是用于描述根据本发明示例性实施例的在肤色坐标系统中参考光源的坐标和捕捉的图像的面部肤色的坐标之间的距离Dx的说明性示图；

图6是用于描述根据本发明示例性实施例的在肤色坐标系统中捕捉的图像的面部肤色的坐标和两个选择的光源的坐标之间的距离K1和K2的说明性示图；

图7A至图9B示出根据本发明示例性实施例的在应用白平衡调整之前与之后所捕捉的图像。

在整个附图中，应该注意，相同的标号用于描述相同或相似的元件、特征和结构。

具体实施方式

提供下面参照附图的描述以帮助全面理解由权利要求及其等同物所限定的本发明的示例性实施例。上述描述包括各种具体细节以帮助理解，但是这些具体细节将被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对这里所描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略公知功能和结构的描述。

下面的描述和权利要求中所使用的术语和词语不局限于书面意义，而仅仅被发明人使用以使本发明得以清楚和一致的理解。因此，本领域的技术人员应该清楚，提供下面对本发明示例性实施例的描述仅是为了说明的目的，而不是为了限制所附权利要求和它们的等同物所限定的本发明的目的。

应当理解，除非上下文清楚地另有指示，否则单数形式包括复数指示物。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。

图1是根据本发明示例性实施例的无线终端的框图。

参照图1，射频(RF)单元123执行无线终端的无线通信功能。RF单元123包括：RF发送器，用于对发送信号的频率进行上变换并放大经过上变换的发送信号；RF接收器，用于低噪声放大接收信号并对经过低噪声放大的接收信号的频率进行下变换。数据处理器120包括用于对发送信号进行编码和调制的发送器和用于对接收信号进行解调和解码的接收器。数据处理器120可包括调制解调器和编解码器。编解码器包括用于处理包数据等的数据编解码器和用于处理音频信号(诸如语音)的音频编解码器。音频处理器125播放所接收的从数据处理器120中的音频编解码器输出的音频信号，并将麦克风获得的发送音频信号传送到数据处理器120中的音频编解码器。

键输入单元127包括用于输入字母数字信息的字母数字键和用于设置各种功能的功能键。

存储器130可包括程序存储器和数据存储器。程序存储器可存储用于控制无线终端的总体操作的程序和以下程序：所述程序用于执行控制以通过基于从捕捉的图像识别的面部图像的面部肤色来确定在复杂光源下捕捉的图像并调整在复杂光源下捕捉的图像的白平衡，从而增加面部肤色的表现力。数据存储器可暂时存储在执行程序时产生的数据。

另外，存储器130存储若干表格。第一表格存储在多个光源中的每个光源下任意面部肤色的平均R、G和B值以及指示在肤色坐标系统中所述平均R、G和B值的位置的坐标(R/G，B/G)。第二表格在计算多个光源中的参考光源和其他光源中的每一个之间的距离D之后存储所述距离D。第三表格存储基于参考光源的在多个光源中的每个光源下面部肤色的色温T。第四表格存储在多个光源中的每个光源下按照普通白平衡方案的面部肤色的白平衡增益。第一到第四表格可被预先存储。

控制器110控制无线终端的整体操作。根据本发明的示例性实施例，控制器110在存储器130中存储第一到第四表格以获得根据面部肤色的白平衡增益。

如果在多个任意光源D75、D65、D55、D50、D40和A下拍摄各种人脸，则控制器110计算在多个光源D75、D65、D55、D50、D40和A中的每个光源下，面部肤色的RGB数据的平均R、G和B值以及指示在肤色坐标系统中所述平均R、G和B值的位置的坐标(R/G，B/G)，并将它们存储在如下所示的第一表格中。光源的数量可为6到9，在多个光源D75、D65、D55、D50、D40和A中的每个光源下的面部肤色的RGB数据可以是阴影补偿(shading-compensated)的12比特数据。

第一表格

由于多个光源D75、D65、D55、D50、D40和A中的光源D55具有与室外阳光的色温最相似的色温，因此在第一表格中光源D55被设置为参考光源。控制器110根据等式1计算在肤色坐标系统中参考光源的肤色坐标(R/G，B/G)和多个光源中的每个光源的肤色坐标(R/G，B/G)之间的距离D，并将计算出的距离D存储在第二表格中。

D_{n} = \sqrt{{(R_{n} - R_{s})}^{2} + {(B_{n} - B_{s})}^{2}}

等式1

R_n和B_n分别表示每个光源的肤色坐标(R/G，B/G)的值，R_s和B_s分别表示参考光源D55的肤色坐标(R/G，B/G)的值。

第二表格

	D75	D65	D55	D50	D40	A
							D	0.1673	0.0622	0	0.0408	0.1524	0.4126

控制器110根据等式2计算每个光源的肤色是比参考光源D55更高色温的光源下的肤色还是比参考光源D55更低色温的光源下的肤色，并且将计算出的值存储在第三表格中。

T_n＝(R_n-B_n)-(R_s-B_s) 等式2

在等式2中，T＜0指示比参考光源D55更高的色温，T＞0指示比参考光D55更低的色温。

第三表格

	D75	D65	D55	D50	D40	A
							T	-0.2216	-0.0843	0	0.0576	0.1390	0.5620

控制器110通过使用普通白平衡方案，计算存储在第一表格中的每个光源的RGB平均数据的白平衡增益，并将计算出的白平衡增益存储在第四表格中。

第四表格

根据本发明的示例性实施例，当由相机单元140捕捉图像时，如果从面部识别单元170接收到面部图像的坐标，则控制器110首先通过使用面部肤色来计算白平衡增益。

现在将描述通过使用面部肤色来计算白平衡增益的处理。控制器110从自面部识别单元170接收的面部图像坐标计算特定区域中的面部肤色的RGB数据的平均值。控制器110通过使用计算出的平均R、G和B值，计算指示在肤色坐标系统中所述特定区域中的面部肤色的坐标的A(R_x＝R/G，B_x＝B/G)。控制器110通过使用等式1计算在肤色坐标系统中参考光源D55的肤色坐标(R_s＝R/G，B_s＝B/G)和A(R_x＝R/G，B_x＝B/G)之间的距离D_x，并且通过使用等式2计算A(R_x＝R/G，B_x＝B/G)相比于参考光源D55的色温比较值T_x。

控制器110提取B(R₁，B₁)和C(R₂，B₂)。B(B₁，B₁)是用于下述光源的肤色坐标：该光源距参考光源D55的距离比计算出的参考光源D55的肤色坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更大。C(R₂，B₂)是用于下述光源的肤色坐标：该光源距参考光源D55的距离比计算出的参考光源D55的肤色坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更小，同时具有与计算出的A(R_x，B_x)相比于参考光源D55的色温比较值T_x的符号相同的符号。可从存储器130中存储的第二表格和第三表格获取距离D_x和色温和比较值T_x。

控制器110通过使用下面的等式3，计算A(R_x，B_x)和B(B₁，B₁)之间的距离K₁以及A(R_x，B_x)和C(R₂，B₂)之间的距离K₂。

k_{1} = \sqrt{{(R_{x} - R_{1})}^{2} + {(B_{x} - B_{1})}^{2}},

k_{2} = \sqrt{{(R_{x} - R_{2})}^{2} + {(B_{x} - B_{2})}^{2}}

等式3

控制器110从存储器130中存储的第四表格提取B(R₁，B₁)和C(R₂，B₂)的白平衡增益，并且通过使用下面的等式4，通过根据基于A(R_x，B_x)的距离比对提取的B(R₁，B₁)和C(R₂，B₂)的白平衡增益进行内插来计算白平衡增益(RGain_Face，BGain_Face)。

{WBgain}_{R} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{R 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{R 2}

和

{WBgain}_{B} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{B 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{B 2}

等式4

在等式4中，WBgain_R1表示B(R₁，B₁)的白平衡增益的R增益，WBgain_R2表示C(R₂，B₂)的白平衡增益的R增益，其中，WBgain_B1表示B(R₁，B₁)的白平衡增益的B增益，WBgain_B2表示C(R₂，B₂)的白平衡增益的B增益。

当通过使用面部图像计算出白平衡增益(RGain_Face，BGain_Face)后，控制器110根据普通白平衡方案计算白平衡增益(RGain_Normal，BGain_Normal)。控制器110将通过使用面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)和按照普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)与预定的参考白平衡增益(RGain_Threshold，BGain_Threshold)相比较，如果RGain_Face-RGain_Normal＞RGain_Threshold并且BGain_Face-BGain_Normal＜BGain_Threshold，则确定在复杂光源下捕捉到所述图像。

如果确定在复杂光源下捕捉到所述图像，则控制器110通过对使用面部图像计算出的白平衡增益(RGain_Face，BGain_Face)和根据普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)进行内插，来提取最终的白平衡增益。控制器110将提取的最终的白平衡增益乘以捕捉的图像的整个区域中的每个像素，将捕捉的图像中的面部图像的RGB数据转换为YUV数据，通过将YUV数据乘以预定常数来降低U值并增加V值以调整YUV数据，并且将调整后的YUV数据转换为RGB数据。

相机单元140包括：相机传感器，用于捕捉图像数据并将捕捉的光信号转换为电信号；信号处理器，用于将所述相机传感器捕捉的模拟图像信号转换为数字数据。这里假定相机传感器是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器，可以由数字信号处理器(DSP)来实现信号处理器。然而，也可采用其他的相机传感器技术。相机传感器和信号处理器可以以集成的方式或分离的方式来实现。

图像处理器150执行用于在显示单元160上显示从相机单元140输出的图像信号的图像信号处理(ISP)。ISP执行诸如伽玛校正、插值、空间变化、图像特效、图像缩放、自动白平衡(AWB)、自动曝光(AE)和自动对焦(AF)的功能。图像处理器150以帧为基础处理从相机单元140输出的图像信号，并根据显示单元160的特性和大小输出基于帧的图像数据。包括视频编解码器的图像处理器150通过预设编码来压缩显示在显示单元160上的帧图像数据，并将压缩的帧图像数据恢复(或解压缩)为其原始帧图像数据。视频编解码器可包括JPEG编解码器、MPEG4编解码器、小波编解码器等。假设图像处理器150包括屏上显示(OSD)功能，控制器110可根据显示数据的屏幕大小来控制图像处理器150输出OSD数据。

显示单元160在屏幕上显示从图像处理器150输出的图像和从控制器110输出的用户数据。显示单元160可包括液晶显示器(LCD)，在这种情况下，显示单元160包括LCD控制器、用于存储图像数据的存储器以及LCD面板。LCD可用作具有触摸屏的输入单元，在这种情况下，显示单元160可显示键输入单元127的字母数字键。

根据本发明的实施例，面部识别单元170从捕捉的图像识别面部图像，并将识别的面部图像的坐标发送到控制器110。

参照图2到图6描述在上述无线终端中控制白平衡的调整的操作。

图2是示出根据本发明示例性实施例的在无线终端中调整在复杂光源下捕捉的图像的白平衡的处理的流程图，图3是示出根据本发明示例性实施例的通过使用面部肤色来计算白平衡增益的处理的流程图，图4是用于描述根据本发明示例性实施例的从捕捉的图像识别面部的功能的说明性示图，图5是用于描述根据本发明示例性实施例的在肤色坐标系统中参考光源的坐标和捕捉的图像的面部肤色的坐标之间的距离Dx的说明性示图，图6是用于描述根据本发明示例性实施例的在肤色坐标系统中捕捉的图像的面部肤色的坐标和两个选择的光源的坐标之间的距离K1和K2的说明性示图。参照图1描述了本示例性实施例。

参照图2，如果在步骤201选择进行捕捉，则在步骤202，控制器110确定是否设置了AWB功能。如果AWB功能被设置，则在步骤203，控制器110控制面部识别单元170执行面部识别功能。如果从面部识别单元170接收到面部图像坐标，则控制器110在步骤204确定面部图像包含在捕捉的图像中。在步骤205，控制器110通过使用面部肤色计算白平衡增益(RGain_Face，BGain_Face)。参照图3描述了在步骤205中通过使用面部肤色计算白平衡增益(RGain_Face，BGain_Face)的处理。

参照图3，在步骤301，控制器110通过使用从面部识别单元170接收的面部图像坐标，如图4中所示沿水平方向将面部区域划分为四个相等部分并沿垂直方向将面部区域划分为五个相等部分，并且控制器110计算面部区域中的特定区域(例如，第一水平和第三垂直区域)的RGB数据的平均值。

为了容易理解，参照特定区域的RGB数据的示例性平均值来描述图2到6，其中，所述示例性平均值在步骤301分别被计算为751.6、962.9和519.9。

在步骤302，控制器110通过使用在步骤301计算出的平均R、G和B值，计算在肤色坐标系统中基于面部肤色的特定区域的坐标A(R_x，B_x)。

由于在步骤301计算出的平均R、G和B值分别是751.6、962.9和519.9，因此基于面部肤色的特定区域的坐标A(R_x＝R/G，B_x＝B/G)是A(0.781，0.540)。

在步骤303，控制器110通过使用等式1计算参考光源D55的肤色坐标(R_s，B_s)和A(R_x，B_x)之间的距离Dx。

在这个示例中，参考光源D55的肤色坐标(0.892，0.544)和A(0.781，0.540)之间的距离Dx是0.11109。在步骤303中通过使用上面的等式1，通过参考存储在存储器130中的第一表格来获取该值。

在步骤304，控制器110通过使用等式2计算A(R_x，B_x)相比于参考光源D55的色温比较值T_x。

在这个示例中，A(R_x，B_x)相比于参考光源D55的色温比较值T_x是-0.1065。在步骤304中通过使用上面的等式2，通过使用参考光源D55的肤色坐标(0.892，0.544)计算该值。

当在步骤303和304中计算出距离D_x和色温比较值T_x时，控制器110在步骤305从存储器130中存储的第二表格和第三表格中提取B(R₁，B₁)和C(R₂，B₂)。

当计算出的色温比较值T_x是-0.1065并且计算出的距离D_x是0.11109时，在步骤305从第三表格中提取具有相同符号(即，减号(-)，对应于T＜0)的光源D75和光源D65，其中，光源D75具有比0.11109更大的距离，光源D65具有比0.11109更小的距离。

图5是用于描述在肤色坐标系统中，参考光源坐标D55的坐标和捕捉的图像的特定区域中的面部肤色的坐标A(0.781，0.540)之间的距离Dx、参考光源D55和提取的光源D75的肤色坐标(0.739，0.614)之间的距离D₁、参考光源D55和提取的光源D65的肤色坐标(0.837，0.574)之间的距离D₂的说明性示图。

在步骤306，控制器110通过使用上面示出的等式3来计算A(R_x，B_x)和B(R₁，B₁)之间的距离K₁以及A(R_x，B_x)和C(R₂，B₂)之间的距离K₂。在这里给出的示例中，A(0.781，0.540)和光源D75的肤色坐标(0.739，0.614)之间的距离K₁是0.08461，A(0.781，0.540)和光源D65的肤色坐标(0.837，0.574)之间的距离K₂是0.06595。通过使用等式公式3来计算这些值。

参照图6，该图显示了A(R_x，B_x)和B(R₁，B₁)之间的距离K₁以及A(R_x，B_x)和C(R₂，B₂)之间的距离K₂。

当在步骤306中计算出距离K₁和距离K₂时，控制器110从存储器130中存储的第四表格中提取B(R₁，B₁)和C(R₂，B₂)的白平衡增益，并且在步骤307中通过使用上面的等式4，根据基于A(R_x，B_x)的距离比，通过对提取的B(R₁，B₁)和C(R₂，B₂)的白平衡增益进行内插来计算白平衡增益(RGain_Face，BGain_Face)。

在步骤307，当通过使用上面示出的等式4来对K₁＝0.08461和K₂＝0.06595进行内插时，获得以下值。

{WBgain}_{R} = \frac{0.066}{0.0846 + 0.066} \times 1.966 + \frac{0.0846}{0.0846 + 0.066} \times 1.812 = 1.879

{WBgain}_{B} = \frac{0.066}{0.0846 + 0.066} \times 1.305 + \frac{0.0846}{0.0846 + 0.066} \times 1.381 = 1.348

相应的，通过使用面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)是(1.879，1.348)。

回到图2，在如图3所示通过使用面部肤色计算出白平衡增益(RGain_Face，BGain_Face)后，在步骤206，控制器110按照普通白平衡方案计算白平衡增益(RGain_Normal，BGain_Normal)。在这里给出的示例中，在步骤206根据普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)可以是(1.750，1.480)。

在步骤207，控制器110将通过使用面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)和按照普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)与预定的参考白平衡增益(RGain_Threshold，BGain_Threshold)相比较。如果RGain_Face-RGain_Normal＞RGain_Threshold并且BGain_Face-BGain_Normal＜BGain_Threshold，则控制器110在步骤208确定在复杂光源下捕捉到所述图像。

当通过使用面部肤色确定在复杂光源下捕捉到所述捕捉的图像时，在步骤209，控制器110通过对使用面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)和按照普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)进行内插来提取最终的白平衡增益，并将提取的最终的白平衡增益乘以捕捉的图像的整个区域中的每个像素。

可按照1∶1或2∶1的比率来执行步骤209中两个白平衡增益的内插。在给出的示例中，按照1∶1的比率对通过使用面部肤色计算出的白平衡增益(1.879，1.348)和使用普通白平衡方案计算出的白平衡增益(1.750，1.480)进行内插，得到以下值。

R Gain＝(1.879+1.750)/2＝1.815

B Gain＝(1.348+1.480)/2＝1.414

相应的，控制器110将最终的白平衡增益(1.815，1.414)乘以捕捉的图像的整个区域中的每个像素。

如上所述的通过将最终的白平衡增益乘以捕捉的图像的整个区域中的每个像素而获得的图像可最生动地表现面部肤色并同样自然地表现背景。然而，由于面部肤色可能会一定程度偏蓝以防止背景颜色不自然，因此，可能仅在仅面部区域被补偿的情况下才能获得最优的结果。在这种情况下，因为应该在不改变面部区域的亮度的情况下改变面部区域的色调，所以在步骤210，控制器110将通过将最终的白平衡增益乘以捕获的图像的整个区域中的每个像素而获得的图像中的面部图像的RGB数据变换为YUV数据，通过将所述YUV数据乘以预定常数来降低U值并且增加V值以调整YUV数据，并且将调整后的YUV数据变换为RGB数据。

如果在步骤207中不满足条件RGain_Face-RGain_Normal＞RGain_Threshold且BGain_Face-BGain_Normal＜BGain_Threshold，则控制器110在步骤211步确定在单一光源下捕捉到图像。在确定在单一光源下捕捉到图像时，在步骤212，控制器110按照普通白平衡方案提取白平衡增益，并将提取的白平衡增益乘以捕捉的图像的整个区域中的每个像素。

图7A至图9B示出根据本发明示例性实施例的应用白平衡调整之前与之后所捕捉的图像。一般来说，在面部处于阴影下而背景处于日光下的情况下，或者在周围的光源是低色温光源(诸如白炽电灯或卤钨灯)而相对高色温光源照射在面部上的情况下(例如，在闪光灯被点亮的情况下)，应用复杂光源。

参照图7A和图7B，图7A示出在面部处于阴影下而背景处于阳光下的状态下的复杂光源下，没有应用根据本发明示例性实施例的白平衡功能而捕捉的图像。图7B示出在面部处于阴影下而背景处于阳光下的状态下的复杂光源下，通过应用根据本发明示例性实施例的白平衡功能而捕捉的图像。

参照图8A和图8B，图8A示出在面部处于阴影下而背景处于阳光下的状态下的复杂光源下，没有应用根据本发明示例性实施例的白平衡功能而捕捉的图像。图8B示出在面部处于阴影下而背景处于阳光下的状态下的复杂光源下，通过应用根据本发明示例性实施例的白平衡功能而捕捉的图像。

参照图9A和9B，图9A示出在低色温光源照射在背景上而高色温光源照射在面部上的状态下(即，在闪光灯被点亮的情况下)的复杂光源下，没有应用根据本发明示例性实施例的白平衡功能而捕捉的图像。图9B示出在低色温光源照射在背景上而高色温光源照射在面部上的状态下(即，在闪光灯被点亮的情况下)的复杂光源下，通过应用根据本发明示例性实施例的白平衡功能而捕捉的图像。

从前面的描述清楚的是，所提出的用于调整白平衡的设备和方法在面部图像包括在在复杂光源下捕捉的图像中时，允许增加面部肤色的表现力。

虽然已参照本发明的特定示例性实施例(诸如无线终端)显示和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求以及其等同物限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims

1.一种用于调整白平衡的设备，所述设备包括：

相机单元；

控制器，用于控制从相机单元捕捉的图像识别面部图像，如果根据基于识别的面部图像的面部肤色计算出的白平衡增益和基于普通白平衡方案计算出的白平衡增益之间的比较，确定在复杂光源下捕捉到所述图像，则所述控制器用于基于通过对所述两个白平衡增益进行内插而提取的最终的白平衡增益来调整捕捉的图像的白平衡。

2.如权利要求1所述的设备，进一步包括：

存储器，用于存储第一表格、第二表格、第三表格和第四表格，其中，第一表格用于存储在多个光源中的每个光源下任意面部肤色的平均R、G和B值以及指示在肤色坐标系统中所述平均R、G和B值的位置的坐标(R/G，B/G)，第二表格用于存储所述多个光源中的参考光源和其他光源中的每一个之间的距离D，第三表格用于存储基于参考光源的在所述多个光源中的每个光源下面部肤色的色温T，第四表格用于存储在所述多个光源中的每个光源下按照普通白平衡方案的面部肤色的白平衡增益。

3.如权利要求1所述的设备，其中，控制器基于面部识别功能从捕捉的图像识别面部图像，计算识别出的面部图像的特定区域中的面部肤色的RGB数据的平均R、G和B值，基于计算出的平均R、G和B值来计算指示肤色坐标系统中所述特定区域中的面部肤色的坐标的A(R_x＝R/G，B_x＝B/G)，计算肤色坐标系统中参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x，计算A(R_x，B_x)相比于参考光源的色温比较值T_x。

4.如权利要求3所述的设备，其中，控制器基于

来计算参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x。

5.如权利要求3所述的设备，其中，控制器基于T_x＝(R_x-B_x)-(R_s-B_s)来计算A(R_x，B_x)相比于参考光源的色温比较值T_x。

6.如权利要求3所述的设备，其中，控制器提取B(R₁，B₁)和C(R₂，B₂)，

其中，B(R₁，B₁)是用于下述光源的肤色坐标：所述光源距参考光源的距离比计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更大，同时具有与计算出的A(R_x，B_x)相比于参考光源的色温比较值T_x的符号相同的符号，

其中，C(R₂，B₂)是用于下述光源的肤色坐标：所述光源距参考光源的距离比计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更小，同时具有与计算出的A(R_x，B_x)相比于参考光源的色温比较值T_x的符号相同的符号，

其中，控制器从用于存储参考光源和多个光源之间的距离的第二表格获取计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x，

其中，控制器从存储器中存储的用于存储多个光源的色温的第三表格获取计算出的A(R_x，B_x)相比于参考光源的色温比较值T_x。

7.如权利要求6所述的设备，其中，控制器基于

k_{1} = \sqrt{{(R_{x} - R_{1})}^{2} + {(B_{x} - B_{1})}^{2}},

k_{2} = \sqrt{{(R_{x} - R_{2})}^{2} + {(B_{x} - B_{2})}^{2}}

来计算A(R_x，B_x)和B(R₁，B₁)之间的距离K₁以及A(R_x，B_x)和C(R₂，B₂)之间的距离K₂。

8.如权利要求7所述的设备，其中，控制器从存储器中存储的用于存储在多个光源中的每个光源下面部肤色的白平衡增益的第四表格提取B(R₁，B₁)和C(R₂，B₂)的白平衡增益，并且基于

{WBgain}_{R} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{R 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{R 2}

和

{WBgain}_{B} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{B 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{B 2},

通过根据基于A(R_x，B_x)的距离比对提取的B(R₁，B₁)和C(R₂，B₂)的白平衡增益进行内插来计算白平衡增益(RGain_Face，BGain_Face)，

其中，WBgain_R1表示B(R₁，B₁)的白平衡增益的R增益，WBgain_R2表示C(R₂，B₂)的白平衡增益的R增益，

其中，WBgain_B1表示B(R₁，B₁)的白平衡增益的B增益，WBgain_B2表示C(R₂，B₂)的白平衡增益的B增益。

9.如权利要求1所述的设备，其中，控制器将基于面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)和按照普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)与预定的参考白平衡增益(RGain_Threshold，BGain_Threshold)相比较，如果RGain_Face-RGain_Normal＞RGain_Threshold并且BGain_Face-BGain_Normal＜BGain_Threshold，则确定在复杂光源下捕捉到所述图像。

10.如权利要求1所述的设备，其中，控制器将最终的白平衡增益乘以捕捉的图像的每个像素，并且调整图像中的面部图像的YUV，

其中，控制器将面部图像的RGB数据变换为YUV数据，将YUV数据乘以预定常数以降低U值并增加V值，并且将调整后的YUV数据变换为RGB数据。

11.一种调整白平衡的方法，所述方法包括：

从捕捉的图像识别面部图像；

基于识别的面部图像的面部肤色计算白平衡增益，并基于普通白平衡方案计算白平衡增益；

如果基于对两个计算出的白平衡增益的比较，确定在复杂光源下捕捉到所述图像，则基于通过对所述两个白平衡增益进行内插而提取的最终的白平衡来调整捕捉的图像的白平衡。

12.如权利要求11所述的方法，进一步包括：

在存储器中预先存储第一表格，所述第一表格用于存储在多个光源中的每个光源下任意面部肤色的平均R、G和B值以及指示在肤色坐标系统中所述平均R、G和B值的位置的坐标(R/G，B/G)，

在存储器中预先存储第二表格，所述第二表格用于存储所述多个光源中的参考光源和其他光源中的每一个之间的距离D，

在存储器中预先存储第三表格，所述第三表格用于存储基于参考光源的在多个光源中的每个光源下面部肤色的色温T，

在存储器中预先存储第四表格，所述第四表格用于存储在多个光源中的每个光源下按照普通白平衡方案的面部肤色的白平衡增益。

13.如权利要求11所述的方法，其中，基于面部肤色计算白平衡增益(RGain_Face，BGain_Face)的步骤包括：

计算识别出的面部图像的特定区域中的面部肤色的RGB数据的平均R、G和B值；

基于计算出的平均R、G和B值来计算指示肤色坐标系统中特定区域中的面部肤色的坐标的A(R_x＝R/G，B_x＝B/G)；

计算肤色坐标系统中参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x并计算A(R_x，B_x)相比于参考光源的色温比较值T_x；

提取B(R₁，B₁)和C(R₂，B₂)，其中，B(R₁，B₁)是用于下述光源的肤色坐标：所述光源距参考光源的距离比计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更大，同时具有与计算出的A(R_x，B_x)相比于参考光源的色温比较值T_x的符号相同的符号，其中，C(R₂，B₂)是用于下述光源的肤色坐标：所述光源距参考光源的距离比计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x更小，同时具有与计算出的A(R_x，B_x)相比于参考光源的色温比较值T_x的符号相同的符号，其中，从用于存储参考光源和多个光源之间距离的第二表格获取计算出的参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x，其中，从存储器中存储的用于存储多个光源的色温的第三表格获取计算出的A(R_x，B_x)相比于参考光源的色温比较值Tx；

计算A(R_x，B_x)和B(R₁，B₁)之间的距离K₁以及A(R_x，B_x)和C(R₂，B₂)之间的距离K₂；

通过根据基于A(R_x，B_x)的距离比对B(R₁，B₁)和C(R₂，B₂)的白平衡增益进行内插来计算白平衡增益(RGain_Face，BGain_Face)。

14.如权利要求13所述的方法，其中，基于

来计算参考光源的坐标(R_s，B_s)和A(R_x，B_x)之间的距离D_x。

15.如权利要求13所述的方法，其中，基于T_x＝(R_x-B_x)-(R_s-B_s)来计算A(R_x，B_x)相比于参考光源的色温比较值T_x。

16.如权利要求13所述的方法，其中，基于

k_{1} = \sqrt{{(R_{x} - R_{1})}^{2} + {(B_{x} - B_{1})}^{2}},

k_{2} = \sqrt{{(R_{x} - R_{2})}^{2} + {(B_{x} - B_{2})}^{2}}

17.如权利要求13所述的方法，其中，从存储器中存储的用于存储在多个光源中的每个光源下面部肤色的白平衡增益的第四表格提取B(R₁，B₁)和C(R₂，B₂)的白平衡增益，

其中，基于

{WBgain}_{R} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{R 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{R 2}

和

{WBgain}_{B} = \frac{K_{2}}{K_{1} + K_{2}} \times {WBgain}_{B 1} + \frac{K_{1}}{K_{1} + K_{2}} \times {WBgain}_{B 2},

18.如权利要求13所述的方法，其中，确定在复杂光源下捕捉到图像的步骤包括：

将基于面部肤色计算出的白平衡增益(RGain_Face，BGain_Face)和按照普通白平衡方案计算出的白平衡增益(RGain_Normal，BGain_Normal)与预定的参考白平衡增益(RGain_Threshold，BGain_Threshold)相比较；

如果RGain_Face-RGain_Normal＞RGain_Threshold且BGain_Face-BGain_Normal＜BGain_Threshold，则确定在复杂光源下捕捉到所述图像。

19.如权利要求11所述的方法，进一步包括：

将最终的白平衡增益乘以捕捉的图像的每个像素并调整图像中的面部图像的YUV，

其中，调整YUV的步骤包括：

将面部图像的RGB数据变换为YUV数据；

将YUV数据乘以预定常数以降低U值并增加V值，并且将调整后的YUV数据变换为RGB数据。