CN101404776B - 自动白平衡方法 - Google Patents

Abstract

一种自动白平衡方法，包括将输入图像的色彩空间从RGB色彩空间转换至国际照明委员会(CIE)L^＊a^＊b^＊色彩空间、假定参考白色被改变，将预定的L^＊a^＊b^＊值的范围中的输入图像的至少一部分像素确定为将被用于估计参考白色的像素、将经确定的将被用于估计参考白色的像素的L^＊值、a^＊值、b^＊值的平均值确定为参考白色估计值；以及计算色彩增益从而为了预定的白平衡而将参考白色估计值移动到目标值。

Description

自动白平衡方法

申请的交叉参考

本申请要求于2007年8月14日向韩国知识产权局提交的韩国专利申请第2007-81696号的优先权，其内容通过引证结合于此。

技术领域

本发明涉及数字图像处理，以及更具体地，涉及使用国际照明委员会(CIE)L＊a＊b＊色彩空间来估计由诸如光源的周围环境所改变的参考白色的自动白平衡方法。

背景技术

白平衡涉及色彩的相对数量的调整，从而由图像捕捉单元(例如，数字图像传感器)捕捉的图像的色彩可以保持其原始色彩而不存在由诸如光源的周围环境所导致的改变。即，如果没有白平衡，则由于诸如光源的周围环境，从图像传感器传送的白色对象的图像就可能不会被精确地表达。

通常，为了白平衡而通过从图像传感器获得的图像对由于光源的变化程度的进行估计，被认为是对参考白色的估计。即，对发生在图像的白色部分中的改变类型进行估计。

根据典型的估计方法，提供有：最大红、绿、和蓝色(RGB)方法，根据每个输入图像的最大RGB值来估计白色；灰度世界(grayworld)方法，将输入的彩色图像的平均RGB值确定为灰色，然后使用该灰色估计参考白色；以及使用神经网络(nerve network)来估计参考白色的方法。通过典型的估计方法来补偿对象的色调的代表性方法是通过调整色彩增益(即，乘以每个色彩信息的系数)从失真的白色对象中表达出精确的白色。这些处理被称作自动白平衡。在某光源中捕捉并经自动白平衡处理的关于一个对象的图像，应当具有与原始对象相同的色调。

然而，根据典型的参考白色估计方法，只要图像的特定部分极亮或图像中的某特定色彩被极大地分布，则会估计出错误的白色，从而在很多情况下可以计算出错误的色彩增益。因此，在达到精确的自动白平衡方面存在局限性。

发明内容

本发明的一方面提供了通过国际照明委员会(CIE)L＊a＊b＊色彩空间(通过使用亮度和色度表示图像信息)从而基于L＊、a＊、和b＊值经过像素分布来估计参考白色的改进精确度的自动白平衡方法。

根据本发明的一方面，提供了自动白平衡方法，包括：将输入图像的色彩空间从RGB色彩空间转换至国际照明委员会(CIE)L＊a＊b＊色彩空间；假定参考白色被改变，将在预定的L＊a＊b＊值的范围中的输入图像的至少一部分像素确定为将被用于估计参考白色的像素；在操作S13中，将经确定的将被用于估计参考白色的像素的L＊值、a＊值、b＊值确定为参考白色估计值；以及计算色彩增益，以将参考白色估计值移动到预定的白平衡的目标值。

色彩空间的转换可以包括：基于CIE标准将输入图像的每个像素均具有的RGB值转换为XYZ值；以及将转换后的每个像素的XYZ值转换为L＊a＊b＊值。

可以通过下面的等式1来执行RGB值到XYZ值的转换，并可以通过下面的等式2来执行XYZ值到L＊a＊b＊值的转换。

[等式1]

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ 0.2126& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9505\end{array}\right]\×\left[\begin{array}{c}R/2.55\\ G/2.55\\ B/2.55\end{array}\right]$

[等式2]

$\mathrm{var}\_X={\left(\frac{X}{X_n}\right)}^{1/3},$ 当 $\frac{X}{X_n}>0.008856$

$\mathrm{var}\_X=(7.787\×\frac{X}{X_n})+\frac{16}{116},$ 当 $\frac{X}{X_n}\≤0.008856$

$\mathrm{var}\_Y={\left(\frac{Y}{Y_n}\right)}^{1/3},$ 当 $\frac{Y}{Y_n}>0.008856$

$\mathrm{var}\_Y=(7.787\×\frac{Y}{Y_n})+\frac{16}{116},$ 当 $\frac{Y}{Y_n}\≤0.008856$

$\mathrm{var}\_Z{=\left(\frac{Z}{Z_n}\right)}^{1/3},$ 当 $\frac{Z}{Z_n}>0.008856$

$\mathrm{var}\_Z=(7.787\×\frac{Z}{Z_n})+\frac{16}{116},$ 当 $\frac{Z}{Z_n}\≤0.008856$

L*＝(116×var_Y)-16

a*＝500×(Var-X-var_Y)

b*＝200×(Var_Y-var_Z)

其中，X_n＝95.047，Y_n＝100，Z_n＝108.883

预定的L＊a＊b＊值的范围可以包括：多个区间，其中由由按大小顺序被划分为多个区域的L＊值的每个区域确定a＊值和b＊值的区域，L＊值的每个区域按大小顺序被划分为多个区域，随着所述L＊值更大，所述多个区间具有更宽区域的a＊值和b＊值。

可以由下面的表1来确定预定的L＊a＊b＊值的范围。

[表1]

区间号码	L*值范围	a*值范围	b*值范围
				1	99.85＜L*≤100	全部	全部
2	95＜L*≤99.8	-18＜a*≤18	-18＜b*≤18
				3	90＜L*≤95	-18＜a*≤18	-18＜b*≤18
4	85＜L*≤90	-16＜a*≤16	-16＜b*≤16

5	80＜L*≤85	-14＜a*≤14	-14＜b*≤14
				6	75＜L*≤80	-12＜a*≤12	-12＜b*≤12
7	70＜L*≤75	-10＜a*≤10	-10＜b*≤10
				8	65＜L*≤70	-9＜a*≤9	-9＜b*≤9
9	60＜L*≤75	-8＜a*≤8	-8＜b*≤8
				10	55＜L*≤60	-7＜a*≤7	-7＜b*≤7
11	50＜L*≤55	-6＜a*≤6	-6＜b*≤6
				12	45＜L*≤50	-5＜a*≤5	-5＜b*≤5
13	40＜L*≤45	-4＜a*≤4	-4＜b*≤4
				14	20＜L*≤40	-3＜a*≤3	-3＜b*≤3

确定将被用于估计参考白色的像素，可以包括：将多个像素确定为将被用于估计参考白色的像素；所述多个像素处于每个区间中，直至每个区间中的像素的累加数量大于或等于参考样本的预定的数量的区间；从L＊值更大的区间顺序地开始。

样本的数量最小值可以是输入图像像素的总数量的2.5％。

确定将被用于估计参考白色的像素，可以包括：确定满足下面的等式3的最小值n；以及将从第一区间到第n区间的像素确定为将被用于估计参考白色的像素。

[等式3]

直到第n区间的像素的累加数量≥参考样本的数量

确定将被用于估计参考白色的像素，可以包括：通过对多个区间中的像素数量分别进行比较，来确定输入图像是一般输入图像还是特定输入图像，一般输入图像在输入图像中具有均匀的亮度分布，特定输入图像在输入图像中具有局部亮度；根据确定结果，如果输入图像是一般输入图像，则将多个像素确定为将被用于估计参考白色的像素，多个像素处于每个区间中，从L＊值较大的区间顺序地开始直至每个区间中的像素的累加数量大于或等于参考样本的预定的数量的区间；以及根据确定结果，如果输入图像是特定输入图像，则将多个像素确定为将被用于估计参考白色的像素，所述多个像素位于具有最大L＊值的区间中，所述区间在除最大L＊值以外的多个区间之中，所述区间具有像素数量大于参考样本的预定数量的最大L＊值，其中，。

确定像素，可以包括：对具有最大L＊值和第二大L＊值的区间中的像素的第一总和与具有第三大L＊值和第四大L＊值的区间中的像素的第二总和进行比较；当第一总和小于第二总和时，将输入图像确定为一般输入图像，而当第一总和大于第二总和时，对具有第二大L＊值和第三大L＊值的区间的第三总和与具有最大L＊值的区间中的像素的数量进行比较；以及当第三总和大于具有最大L＊值的区间中的像素数量时，将输入图像确定为一般输入图像，以及当第三总和小于具有最大L＊值的区间中的像素数量时将输入图像确定为特定输入图像。

将当像素数量大于参考样本的预定数量时具有最大L＊值的区间中的像素确定为将被用于估计参考白色的像素，可以再一次包括：当不存在具有在像素数量大于参考样本的预定数量时的最大L＊值的区间时，确定输入图像为一般输入图像。

计算色彩增益，可以包括：在假定参考白色被改变的预定的L＊a＊b＊值的范围中，将输入图像像素的L＊值加上a＊＝0和b＊＝0的平均值作为目标值；计算接近值(approaching value)以将参考白色估计值移动到目标值；以及将该接近值移动至RGB色彩空间中。

计算接近值，可以包括：通过应用下面的等式4中表达的恒模算法(CMA)来计算接近值。

[等式4]

$\frac{Z}{Z_n}>0.008856$

$=\mathrm{Tar}\_\mathrm{point}+2\mathrm{\μ}*\mathrm{Ave}\_\mathrm{image}*(\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}-\frac{\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}}{|\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}|})$

其中，App_point是接近值，Tar_point是目标值，Ave-image是参考白色估计值，μ是任意接近项，而每个接近值、目标值、以及参考白色估计值均被表示为[L＊a＊b＊]矩阵。

将接近值移动至RGB色彩空间中，可以包括：基于CIE标准将接近值具有的L＊a＊b＊值转换为XYZ值；以及将经转换的每个像素的XYZ值转换为RGB值。

可以通过下面的等式5来执行L＊a＊b＊值到XYZ值的转换，以及可以通过等式6来执行经转换的XYZ值到RGB值的转换。

[等式5]

var_Y＝(L*+16)/116

var_X＝a*/500+var_Y

var_Z＝var_Y-b*/200

var1_Y＝(var_Y)³当(var_Y)³＞0.008856

var1_Y＝(var_Y-16/116)/7.787当(var_Y)³≤0.008856

var1_X＝(var_X)³当(var_X)³＞0.008856

var1_X＝(var_X-16/116)/7.787当(var_X)³≤0.008856

var1_Z＝(var_Z)³当(var_Z)³＞0.008856

var1_Z＝(var_Z-16/116)/7.787当(var_Z)³≤0.008856

X＝X_n×var1_X/100

Y＝Y_n×var1_Y/100

Z＝Z_n×var1_Z/100

其中，Xn＝95.047，Yn＝100，Zn＝108.883

[等式6]

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9686& 1.8758& 0.0415\\ 0.0557& -0.2040& 1.0570\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\×255$

其中L＊a＊b＊是接近值的L＊值、a＊值、和b＊值，X、Y、和Z是经转换的接近值的X值、Y值、和Z值，以及R、G、和B是经转换的接近值的R值、G值、和B值。

计算色彩增益，可以包括：对移动至RGB色彩空间中的接近值进行规格化；以及将经规格化的接近值的倒数确定为色彩增益。

可以按照下面的等式7来确定色彩增益。

[等式7]

$R_{\mathrm{gain}}=\frac{G}{R},$ $G_{\mathrm{gain}}=\frac{G}{G},$ $B_{\mathrm{gain}}=\frac{G}{B}$

其中R_gain、G_gain，以及B_gain分别表示有关输入图像的R值、G值、以及B值的色彩增益，而R、G、以及B分别表示接近值的R值、G值、以及B值。

本方法还可以包括：通过将计算出的色彩增益应用至输入图像来补偿输入图像的色调；以及通过将具有经补偿的色调的输入图像设置为新输入图像，来重复转换色彩空间、确定将被用于估计参考值的像素、确定参考白色估计值、计算色彩增益、以及补偿色调。

附图说明

结合附图，从以下详细描述中将更清楚地理解本发明的上述和其它的方面、特征和其它优点。

图1是根据本发明的一个实施例的自动白平衡方法的流程图；

图2是示出了三维空间中CIE L＊a＊b＊色彩空间的视图；

图3A至3D以及图4A至4D是示出了根据CIE L＊a＊b＊色彩空间中的L＊值的a＊值和b＊值的色域的视图；

图5A至5B是示出了由L＊值确定的a＊值和b＊值的区域的视图；以及

图6是示出了通过对一般输入图像和特殊输入图像进行区分来确定将被用于估计参考白色的像素的流程图。

具体实施方式

以下将参考附图更详细地描述本发明的优选实施例。然而，本发明可以以不同形式实施而并不应该被解释为限于本文所阐述的实施例。更确切地，提供这些实施例以使本公开全面而完整，并将向本领域的技术人员充分地转达本发明的范围。在附图中，为了说明的清晰，可以放大层和区域的尺寸。

图1是示出了根据本发明的一个实施例的自动白平衡方法的流程图。

如图1所示，自动白平衡方法包括：在操作S11中，将输入图像的色彩空间从RGB色彩空间转换至国际照明委员会(CIE)L＊a＊b＊色彩空间；在操作S12中，假定参考白色被改变，将预定的L＊a＊b＊值的范围中的输入图像的至少一部分像素确定为将被用于估计参考白色的像素；在操作S13中，将经确定的将被用于估计参考白色的像素的L＊值、a＊值、b＊值的平均值确定为参考白色估计值；以及在操作S14中，计算色彩增益，从而为了预定的白平衡而将参考白色估计值移动到目标值。

此外，自动白平衡方法进一步包括：在操作S15中，通过将计算出的色彩增益应用到输入图像来补偿输入图像的色调；在操作S16中，将经补偿的图像设置为新的输入图像，然后，重复操作S11至S15。

下文中，将更详细地描述根据本发明的一个实施例的自动白平衡方法中的每个操作。

用于转换色彩空间的操作S11

本发明的一个实施例将输入图像的色彩空间转换为CIEL＊a＊b＊色彩空间。在操作S11中，输入图像的每个像素均具有的红、绿、和蓝色(RGB)值可以被转换为L＊、a＊、和b＊值。

CIE L＊a＊b＊色彩空间是具有彩色坐标上的色度与视觉色度相同的特征、并包括通过将亮度而非RGB信号表示为垂直轴以及通过a＊和b＊将色度表示为轴的色彩空间。L＊具有范围从1到100的值，并且，随着其值变得更大而表示更亮的色彩。使用0作为参考值，a＊在正(+)方向表示红色以及在负(-)方向表示绿色。另外，使用0作为参考值，b＊在正(+)方向表示黄色以及在负(-)方向表示蓝色。该CIE L＊a＊b＊色彩空间在图2中被立体地示出。

本发明具有通过对应于视觉色度将输入图像的色彩空间转换为CIE L＊a＊b＊色彩空间从而具有可以更容易地理解图像的视觉分布的优点。

为了将输入图像的RGB空间转换为CIE L＊a＊b＊色彩空间，通过使用转换矩阵将输入图像中的全部像素的RGB值转换为XYZ值，然后将经转换的XYZ值转换为L＊a＊b＊值。

将根据CIE标准XYZ坐标的转换矩阵表示为如下等式1。

[等式1]

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ 0.2126& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9505\end{array}\right]\×\left[\begin{array}{c}R/2.55\\ G/2.55\\ B/2.55\end{array}\right]$

在以上等式1中，考虑到典型的RGB值的范围是从0到255，则值2.55是CIE L＊a＊b＊色彩空间可以具有的L＊值在0和100之间的范围的规格化的值。如果RGB值被表示在另一范围中，则可以根据RGB值的范围改变等式1的值2.55。

为了将通过等式1获得的XYZ值转换为L＊a＊b＊值，使用下面的等式2。

[等式2]

$\mathrm{var}\_X={\left(\frac{X}{X_n}\right)}^{1/3},$ 当 $\frac{X}{X_n}>0.008856$

$\mathrm{var}\_X=(7.787\×\frac{X}{X_n})+\frac{16}{116},$ 当 $\frac{X}{X_n}\≤0.008856$

$\mathrm{var}\_Y={\left(\frac{Y}{Y_n}\right)}^{1/3},$ 当 $\frac{Y}{Y_n}>0.008856$

$\mathrm{var}\_Y=(7.787\×\frac{Y}{Y_n})+\frac{16}{116},$ 当 $\frac{Y}{Y_n}\≤0.008856$

$\mathrm{var}\_Z={\left(\frac{Z}{Z_n}\right)}^{1/3},$ 当 $\frac{Z}{Z_n}>0.008856$

$\mathrm{var}\_Z=(7.787\×\frac{Z}{Z_n})+\frac{16}{116},$ 当 $\frac{Z}{Z_n}\≤0.008856$

L*＝(116×var_Y)-16

a*＝500×(Var_X-var_Y)

b*＝200×(Var_Y-var_Z)

其中，Xn＝95.047，Yn＝100，Zn＝108.883

通过以上等式1和2输入的RGB图像信号被转换为CIEL＊a＊b＊色彩空间。在CIE L＊a＊b＊色彩空间中，值(L＊＝100，a＊＝0，以及b＊＝0)是最亮的白色值(也就是，参考白色值)。

确定将被用于估计参考白色的像素的操作S12

在操作S12中，在输入图像的像素中、被转换至CIE L＊a＊b＊色彩空间中的假定参考白色被改变的像素(下文中，为方便解释，称作假定像素)被确定而一部分像素或全部像素被确定为将被用于估计参考白色的像素。这些假定像素具有在假定参考白色被改变的L＊a＊b＊值范围(下文中，为方便解释，称作假定范围)中的L＊a＊b＊值。假定范围可以如下预先确定。

在CIE L＊a＊b＊色彩空间中，因为L＊＝100，a＊＝0，和b＊＝0变为参考白色的坐标，所以输入信号的像素可以被假定为当参考白色接近于L＊＝100，a＊＝0，b＊＝0时由光源改变参考白色的像素。即，如果在转换至CIE L＊a＊b＊色彩空间之前的输入图像的像素中的像素接近于L＊＝100，a＊＝0，b＊＝0，则像素更有可能具有原始(original)参考白色。因此，在根据从参考白色改变的像素可以具有的L＊值确定a＊和b＊范围之前，可以使用在以上范围中的像素来估计白色。下面将更详细地描述确定估计范围的方法。

如上所述，具有参考白色被周围环境改变的最高可能性的图像中的区域是其中L＊、a＊、和b＊值最接近L＊＝100，a＊＝0，b＊＝0的像素。为了精确地获得最接近于参考白色的像素，如果通过按照根据距参考白色的距离的优先级排列图像中的所有像素来用足量的像素估计白色并且选择预定范围(包括参考白色)中的像素的L＊、a＊和b＊值用于白色估计，则可能估计出非常精确的白色。然而，因为这需要复杂的计算和计算系统，此方法在时间和经济方面都可能不太合适。

然而，参考根据如图3A到3D和图4A到4D中所示的L＊值的色域(gamut)，确定a＊和b＊值的可能区域，其中参考白色的色度被改变并被分布在L＊a＊b＊色彩空间中。在根据周围环境检查灰度级变化的程度的同时，变化的量随其接近于参考白色而更大，而当其接近于暗色时，其变化就会不明显。因此，根据尺寸将具有0到100的范围的L＊值划分为多个区域，而a＊值和b＊值由被划分的L＊值的每个区域来确定。即，估计范围包括多个区间，其中a＊值和b＊值的区域由根据尺寸被划分为多个区域的L*值的每个区域来确定。此外，因为参考白色可以存在的范围随着L＊值的增加而扩展，所以当L＊值变大时，根据L＊值的a＊和b＊值的区域变宽，而当L＊值变小时，根据L＊值的a＊和b＊值的区域变窄。尽管如此，因为可以使用图像中的所有像素和具有参考白色被改变的高可能性的像素来估计参考白色，所以用于估计参考白色的过程和系统可以被简化。

如上所述，假定参考白色被改变，L＊a＊b＊值的估计范围可以由下表1中示出的14个区间来被确定。表1用于示出本发明的示例性实施例，表1的范围中的数字值不限制本发明。

[表1]

区间号码	L*值范围	a*值范围	b*值范围
				1	99.85＜L*≤100	全部	全部
2	95＜L*≤99.8	-18＜a*≤18	-18＜b*≤18
				3	90＜L*≤95	-18＜a*≤18	-18＜b*≤18
4	85＜L*≤90	-16＜a*≤16	-16＜b*≤16
				5	80＜L*≤85	-14＜a*≤14	-14＜b*≤14
6	75＜L*≤80	-12＜a*≤12	-12＜b*≤12
				7	70＜L*≤75	-10＜a*≤10	-10＜b*≤10
8	65＜L*≤70	-9＜a*≤9	-9＜b*≤9
				9	60＜L*≤75	-8＜a*≤8	-8＜b*≤8
10	55＜L*≤60	-7＜a*≤7	-7＜b*≤7
				11	50＜L*≤55	-6＜a*≤6	-6＜b*≤6
12	45＜L*≤50	-5＜a*≤5	-5＜b*≤5
				13	40＜L*≤45	-4＜a*≤4	-4＜b*≤4
14	20＜L*≤40	-3＜a*≤3	-3＜b*≤3

如表1中所示，在参考白色被改变的L＊a＊b＊值的范围中，可以认为99.8到100的区间中的所有像素的参考白色均被光源改变。另外，在其它区间中，L＊值被预定单元划分，且可以适当地设置适用于每个L＊值的被划分区域的a＊和b＊值的区域。另外，在L＊值位于0到20之间的区域中，由于其非常接近于暗色，所以参考白色几乎不可能被改变，从而没有必要使将被估计的像素变得精细。

另一方面，当估计参考白色时，需要准备足量的样本(即，足量的用于估计参考白色的像素)以在估计参考白色的过程中间将误差最小化。为此，本发明按照从L＊值大的区间中的像素的顺序累加数量，选择像素直至像素的累加数量大于输入图像像素的全部数量的预定比例的区间，然后使用所选择的像素来估计参考白色。例如，用于估计参考白色的像素比例可以被最小设置为输入图像的全部像素的2.5％。这表示如果输入图像是2M像素，则至少使用50,000像素用于估计参考白色。为描述方便，根据预定比例的样本的最小数量被称作参考样本数量。

在表1中，使用号码按顺序从最大L＊值分配每个区间。使用这些区间的号码，如等式8中所述，可以直至每个区间地计算出像素的累加数量。

[等式8]

像素_1的累加数量＝第一区间中的像素的数量

像素_2的累加数量＝像素_1的累加数量+第二区间中的像素的数量

像素_3的累加数量＝像素_2的累加数量+第三区间中的像素的数量

像素_4的累加数量＝像素_3的累加数量+第四区间中的像素的数量

…

像素_14的累加数量＝像素_13的累加数量+第十四区间中的像素的数量

其中，像素_k的累加数量是直到第k区间的像素的数量

直到区间(其中等式8的像素的累加数量大于或等于参考样本的数量)的累加像素用于估计参考白色。即，通过应用下面的等式3可以确定用于估计参考白色的像素。

[等式3]

直到第n区间的像素的累加数量≥参考样本的数量

一旦确定了满足上述等式3的最小值n，第一区间和第n区间之间的像素可以被确定为将被用于估计参考白色的像素。例如，如果直到第三区间的像素的累加数量是输入图像像素的数量的2.5％且直到第四区间的像素的累加数量超过输入图像像素的数量的2.5％，则直到第四区间的像素(即，在第一和第四区间之间的像素)的累加数量用于估计参考白色。另外，如果小于直到第十四区间的参考样本的数量，则整个估计的范围中的所有像素均可以被确定为将被用于估计参考白色的像素。

简言之，操作S12中的确定将被用于估计参考白色的像素，可以包括：在假定预定参考白色被改变的L＊a＊b＊值的范围中选择像素并通过从具有最大L＊的区间中的像素按顺序累加来基于整个输入图像经过具有大于预定比例的像素来确定将被用于估计参考白色的像素。

另一方面，确定将被用于估计参考白色的像素的方法可以应用到具有输入图像的均匀亮度的一般图像(下文中，称作一般输入图像)的白平衡。如果确定将被用于估计参考白色的像素的方法被应用到特定部分非常明亮或特定色彩被极大地分布在特定部分中的输入图像(下文中，称作特殊输入图像)，则由于输入图像的环境变化，估计值可能不正确。因此，本发明提供了估计的像素选择方法，从而为该特殊输入图像实现精确的参考白色。参考图6将更详细地描述通过将一般输入图像与特殊输入图像加以区分来确定用于估计参考白色的像素的方法。

首先，如上所述，在估计范围的每个区间中对估计像素进行确定之后，在操作S21中，对具有最大L＊值的区间和具有第二大L＊值的区间的第一总和与具有第三大L＊值的区间和具有第四大L＊值的区间的第二总和进行比较。例如，如果确定了如表1所示的估计范围的区间，则可以应用下面的等式9。

[等式9]

第一区间中的像素的数量+第二区间中的像素的数量≥第三区间中的像素的数量+第四区间中的像素的数量。

在上述等式9中，第一和第二区间中的像素满足具有在非常明亮的部分中参考白色被改变的可能性的色彩范围。满足等式9表示在非常明亮的部分中存在很多像素而在相对暗的部分(即，第三和第四区间)中存在较少像素。即，可以确定，在输入图像的特定部分中存在很多像素。如果其不满足上述等式9，由于其被确定为一般输入图像(如上所述)，在操作S25中，在像素的累加数量大于参考样本的数量的区间中的像素被确定为将被用于估计参考白色的像素。

然而，即便其满足上述等式9，也存在图像的特定部分不明亮而整个图像可以明亮的可能性。在这种情况下，使用与一般输入图像相同的方法，可以确定将被用于估计参考白色的像素。为了确定在满足上述等式9的图像中特定部分或者整个图像是明亮的，在操作S22中，对具有第二大L＊值的区间和具有第三大L＊值的区间的第三总和与具有最大L＊值的区间中像素的数量进行比较。例如，如果如表1所示确定估计范围的区间，则可以应用下面的等式10。

[等式10]

第二区间中的像素的数量+第三区间中的像素的数量≥第一区间中的像素的数量

在满足上述等式10的情况下，可以确定，整个图像是明亮的，因为在第一区间(也就是，最明亮的区间)中的像素的数量大于在第二和第三估计区域(暗于第一区间)中的像素的数量。即，在满足等式10的情况下，可以确定，整个图像是明亮的，然后，在操作S25中，使用与一般输入图像相同的方法来确定将被用于估计参考白色的像素。

在满足等式9而不满足等式10的情况下，其最终被确定为特定输入图像，并通过在操作S23中应用下面的等式11来确定将被用于估计参考白色的像素。

[等式11]

第n区间中的像素的数量≥参考样本的数量(n≠1)。

即，在操作S24中，在具有像素数量大于参考样本数量的多个区间之中的具有最小值n的区间中的像素被确定为将被用于估计参考白色的像素。在此情况下，在等式11的比较目标中不包括第一区间。因为第一区间的像素可以被确定为输入图像的明亮的特定部分中的像素，故排除明亮的特定部分的用于估计该参考白色估计的像素。另外，如果没有区间满足上述等式11，则可以应用操作S25中的对用于估计参考白色的像素的确定。

确定参考白色估计值的操作S13

在操作S13中，通过使用在操作S12中确定的将被用于估计参考白色的像素的数量和值，可以确定参考白色估计值。

在本发明中，可以由将被用于估计参考白色的像素L＊a＊b＊的平均值确定参考白色估计值。即，可以如下面的等式12确定参考白色估计值。

[等式12]

L＊估计值＝所选像素的总和L＊/所选像素的数量

a＊估计值＝所选像素的总和a＊/所选像素的数量

b＊估计值＝所选像素的总和b＊/所选像素的数量

在上述等式12中，所选像素的总和L＊(a＊或b＊)是在操作S12中确定的将被用于估计参考白色的像素的所有L＊(a＊或b＊)值的总和，而所选像素的数量是在操作S12中确定的将被用于估计参考白色的像素的数量。如上述等式12所示，用于估计参考白色的L＊值是在操作S12中确定的将被用于估计参考白色的像素的L＊值的平均值。用于估计参考白色估计的a＊值是在操作S12中确定的将被用于估计参考白色的像素的a＊值的平均值。用于估计参考白色估计的b＊值是在操作S12中确定的将被用于估计参考白色的像素的b＊值的平均值。

通过使用参考白色估计值来计算色彩增益的操作S14

在操作S14中，通过使用如上述等式12计算出的白色估计值来计算色彩增益，以将参考白色估计值移动到理想的目标值。

按上述等式12计算出的白色估计值可以表示存在由参考白色估计值从输入图像的理想值a＊＝0，b＊＝0的色彩变化。在操作S14中，计算色彩增益以通过补偿色彩变化来执行白平衡。更详细地，在操作S14中，通过为白平衡设置在估计范围中整个像素的L＊值的平均值，并将a＊＝0和b＊＝0设置为目标值，来计算用于将输入图像的参考白色估计值移动到目标值的色彩增益。

另外，在操作S14中，考虑到当在为白平衡计算色彩增益期间色彩增益过大时，输入图像的色彩在白平衡过程期间变饱和的可能性，与通过将参考白色估计值立即移动到目标值来计算色彩增益相比，则更期望通过逐渐地移动参考白色估计值来计算对应于目标值的色彩增益。即，通过逐渐对输入图像应用色彩增益的补偿方法要优于立即补偿参考白色估计值和目标值之间的差值的方法。通过使用接近因数，可以调节该目标值的接近速度。可调节的信号处理算法中的恒模算法(CMA)可以适用于获得接近点(approach_point)来从参考白色估计值移动到目标值。CMA被表示为下面的等式13，使用等式13获得的加权矢量可以用作用来获得色彩增益的元素。

[等式13]

$w(m+1)=w\left(m\right)+2\mathrm{\μv}\left(m\right)(w^T\left(m\right)v\left(m\right)-\frac{w^T\left(m\right)v\left(m\right)}{\left|w^T\left(m\right)v\left(m\right)\right|})$

在上述等式13中，w是权向量，而v是输入信号。通过表示上述等式13，获得接近值以用于将参考白色估计值移动至目标值。(m)是输入信号，其中图像估计值被应用至所述输入信号，而w(m)是目标值，其中估计范围中的全部像素的L＊值以及a＊＝0和b＊＝0值的平均值被应用至所述目标值。通过上述等式13获得的w(m+1)变为接近值用于为白平衡而将参考白色估计值移动到目标值。该接近值可以通过调整接近项μ来调整接近速度。例如，接近项μ的大小可以是1/32。如果上述等式13被应用到本发明，就如下面的等式4表示。

[等式4]

$\mathrm{App}\_\mathrm{point}$

$=\mathrm{Tar}\_\mathrm{point}+2\mathrm{\μ}*\mathrm{Ave}\_\mathrm{image}*(\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}-\frac{\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}}{|\mathrm{Tar}\_{\mathrm{point}}^T*\mathrm{Ave}\_\mathrm{image}|})$

其中App_point是接近值，Tar_point是目标值，以及Ave_image是由上述等式13获得的参考白色估计值。

特定地，目标值被表示为[L＊估计值00]而估计值被表示为[L＊估计值a＊估计值b＊估计值]。因此，接近值可以被表式为[L＊接近值a＊接近值b＊接近值]的形式。

另一方面，然而，在CIE L＊a＊b＊色彩空间中按上述等式4中所示可以计算出用于从参考白色估计值移动到目标值的接近值。然而，因为通过将亮度和色度分开来表示本CIE L＊a＊b＊色彩空间，所以获得用于对用RGB值表达的输入图像进行直接补偿的色彩增益是不够的。因此，为了确定色彩增益，需要用于将在CIE L＊a＊b＊色彩空间中计算出的接近值朝RGB色彩空间移动的过程。

与在操作S11中的将RGB色彩空间的输入图像转换到CIEL＊a＊b＊色彩空间相似，需要用于将L＊a＊b＊值转换为XYZ值然后将XYZ值转换为RGB值的过程。首先，示出了用于将L＊a＊b＊值转换为XYZ值的下述等式5。

[等式5]

var_Y＝(L*+16)/116

var_X＝a*/500+var_Y

var_Z＝var_Y-b*/200

var1_Y＝(var_Y)³当(var_Y)³＞0.008856

var1_Y＝(var_Y-16/116)/7.787当(var_Y)³≤0.008856

var1_X＝(var_X)³当(vaR_X)³＞0.008856

var1_X＝(var_X-16/116)/7.787当(vaR_X)³≤0.008856

var1_Z＝(var_Z)³当(var_Z)³＞0.008856

var1_Z＝(var_Z-16/116)/7.787当(var_Z)³≤0.008856

X＝X_n×var1_X/100

Y＝Y_n×var1_Y/100

Z＝Z_n×var1_Z/100

其中，Xn＝95.047，Yn＝100，Zn＝108.883

另外，将XYZ值转换至RGB值可以表示为下面的等式6。

[等式6]

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}3.2406& -1.5372& -0.4986\\ -0.9686& 1.8758& 0.0415\\ 0.0557& -0.2040& 1.0570\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\×255$

等式5的最后三个等式的乘法中使用的常数100和等式6的常数255被用来将RGB值转换为具有0到255范围的值。

如果R值、G值、和B值相同，则其成为一个没有颜色的灰度级。通过等式6获得的接近值的RGB值的比例表示输入图像偏离对应色彩那么多比例。需要白平衡处理以补偿该比例。因此，如果比例的倒数乘以图像，则可以执行白平衡。因此，用于白平衡的比例的倒数被确定为用于白平衡的色彩增益。为了计算色彩增益，G值被规格化为标准以使使用以上等式6计算出的接近值的RGB值能彼此一致，而其倒数被确定为用于输入图像白平衡的色彩增益。即，使用下面的等式7可以获得该色彩增益。

[等式7]

$R_{\mathrm{gain}}=\frac{G}{R},$ $G_{\mathrm{gain}}=\frac{G}{G},$ $B_{\mathrm{gain}}=\frac{G}{B}$

其中，R_gain、G_gain和、B_gain分别表示关于输入图像的R值、G值、和B值的色彩增益，R、G、和B分别表示接近值的R值、G值、和B值。

使用上述等式7计算出的色彩增益分别对R值、G值、和B值应用R_gain、G_gain和、B_gain，从而可以执行白平衡。

接近值不立即完成白平衡，而是用于逐渐地将估计值移动到目标值。因此，通过对输入图像全部像素的每一个的R值、G值、和B值分别应用R_gain、G_gain和、B_gain而获得的图像被再次设置为新的输入图像，从而重复操作S11到S14以达到更精确的白平衡。

根据本发明，通过将输入图像移动至CIE L＊a＊b＊色彩空间(其中实际色度和视觉色度一致)中以估计参考白色，可以估计与人类视觉一致的参考白色从而可以达到更为自然的自动白平衡。

另外，通过根据L＊、a＊、和b＊来对在多个区间中的像素的数量进行比较以对图像进行分类，即使图像的特定部分特别明亮或特定颜色被极大地分布，也可以达到精确的白平衡。

而且，因为仅计算在估计范围中(其中假定参考白色被改变)的像素而非图像的全部像素以用于白平衡，所以由简单硬件而没有复杂的计算来实现是可能的，从而其可应用至具有微数字照相装置的移动电话或个人数字助理(PDA)。

虽然已经结合示例性实施例示出并描述了本发明，对于本领域的技术人员来说显而易见的是，在不背离由所附权利要求限定的本发明的精神和范围的情况下可以作出修改和改变。

Claims (17)

1.一种自动白平衡方法，包括：

将输入图像的色彩空间从RGB色彩空间转换至国际照明委员会(CIE)L^＊a^＊b^＊色彩空间；

假定参考白色被改变，将预定的L^＊a^＊b^＊值的范围中的所述输入图像的至少一部分像素确定为将被用于估计所述参考白色的像素；

将经确定的将被用于估计所述参考白色的像素的L^＊值、a^＊值、b^＊值的平均值确定为参考白色估计值；以及

计算色彩增益从而将所述参考白色估计值移动到用于预定的白平衡的目标值。

2.根据权利要求1所述的方法，其中，所述的转换所述色彩空间，包括：

基于CIE标准将所述输入图像的每个像素均具有的RGB值转换为XYZ值；以及

将每个像素的经转换的XYZ值转换为所述L^＊a^＊b^＊值。

3.根据权利要求2所述的方法，其中，所述的将所述RGB值转换为所述XYZ值是通过下面的等式1来执行的，以及所述的将所述XYZ值转换为所述L^＊a^＊b^＊值是通过下面的等式2来执行的，

[等式1] 

[等式2]

当

当

当

当

当

当

L^*＝(116×var_Y)-16

a^*＝500×(Var_X-var_Y)

b^*＝200×(Var_Y-var_Z)

其中，X_n＝95.047，Y_n＝100，Z_n＝108.883。

4.根据权利要求1所述的方法，其中，所述预定的L^＊a^＊b^＊值的范围包括多个区间，其中由按大小顺序被划分为多个区域的所述L^＊值的每个区域确定所述a^＊值和所述b^＊值的区域，随着所述L^＊值更大，所述多个区间具有更宽区域的所述a^＊值和所述b^＊值。

5.根据权利要求4所述的方法，其中，如下面的表1确定所述预定的L^＊a^＊b^＊值的范围， 

[表1]

  区间号码   L^*值范围   a^*值范围   b^*值范围   1   99.85＜L^*≤100   全部   全部   2   95＜L^*≤99.8   -18＜a^*≤18   -18＜b^*≤18   3   90＜L^*≤95   -18＜a^*≤18   -18＜b^*≤18   4   85＜L^*≤90   -16＜a^*≤16   -16＜b^*≤16   5   80＜L^*≤85   -14＜a^*≤14   -14＜b^*≤14   6   75＜L^*≤80   -12＜a^*≤12   -12＜b^*≤12   7   70＜L^*≤75   -10＜a^*≤10   -10＜b_*≤10   8   65＜L^*≤70   -9＜a^*≤9   -9＜b^*≤9   9   60＜L^*≤75   -8＜a^*≤8   -8＜b^*≤8   10   55＜L^*≤60   -7＜a^*≤7   -7＜b^*≤7   11   50＜L^*≤55   -6＜a^*≤6   -6＜b^*≤6   12   45＜L^*≤50   -5＜a^*≤5   -5＜b^*≤5   13   40＜L^*≤45   -4＜a^*≤4   -4＜b^*≤4   14   20＜L^*≤40   -3＜a^*≤3   -3＜b^*≤3

6.根据权利要求4所述的方法，其中，所述的确定将被用于估计所述参考白色的像素，包括：将多个像素确定为将被用于估计所述参考白色的像素；所述多个像素处于每个区间中，从所述L^＊值较大的区间顺序地开始直至每个区间中的像素的累加数量大于或等于参考样本的所述预定数量的区间。

7.根据权利要求6所述的方法，其中，样本的数量最小值是所述输入图像像素的全部数量的2.5％。

8.根据权利要求5所述的方法，其中，所述的确定将被用于估计所述参考白色的像素，包括：

确定满足下面的等式3的最小值n；以及

将从第一区间到第n区间的像素确定为将被用于估计所述参考白色的像素，

[等式3]

直到第n区间的像素的累加数量≥参考样本的数量。 

9.根据权利要求4所述的方法，其中，所述的确定将被用于估计所述参考白色的像素，包括：

通过对所述多个区间中的像素的数量分别进行比较来确定所述输入图像是一般输入图像还是特定输入图像，所述一般输入图像在所述输入图像中具有均匀的亮度分布，所述特定输入图像在所述输入图像中具有局部亮度；

根据所述确定结果，当所述输入图像是所述一般输入图像时，将多个像素确定为将被用于估计所述参考白色的像素，所述多个像素处于每个区间中，从所述L^＊值较大的区间顺序地开始直至每个区间中的像素的累加数量大于或等于参考样本的所述预定的数量的区间；以及

根据所述确定结果，当所述输入图像是所述特定输入图像时，将多个像素确定为将被用于估计所述参考白色的像素，所述多个像素位于除去最大L^＊值区间之外其他多个区间中具有最大L^＊值的区间之内，所述区间在其他多个区间中具有所述像素数量大于参考样本的所述预定数量的最大L^＊值，

其中，当不存在在所述像素数量大于所述参考样本的预定数量时具有所述最大L^＊值的区间时，再次将所述输入图像确定为所述一般输入图像。

10.根据权利要求9所述的方法，其中，所述的确定所述像素，包括：

对具有所述最大L^＊值和第二大L^＊值的区间中的像素的第一总和与具有第三大L^＊值和第四大L^＊值的区间中的像素的第二总和进行比较；

当所述第一总和小于所述第二总和时，将所述输入图像确定为所述一般输入图像，而当所述第一总和大于所述第二总 和时，对具有所述第二大L^＊值和所述第三大L^＊值的区间的第三总和与具有所述最大L^＊值的区间中像素的数量进行比较；

以及

当所述第三总和大于具有所述最大L^＊值的区间中的像素的数量时，将所述输入图像确定为所述一般输入图像，以及当所述第三总和小于具有所述最大L^＊值的所述区间中的像素的数量时，将所述输入图像确定为所述特定输入图像。

11.根据权利要求9所述的方法，其中，将当像素数量大于参考样本的所述预定数量时具有所述最大L^＊值的所述区间中的像素确定为将被用于估计所述参考白色的像素。

12.根据权利要求1所述的方法，其中，所述的计算所述色彩增益包括：

在假定所述参考白色被改变的所述预定的L^＊a^＊b^＊值的范围中，将所述输入图像像素的所述L^＊值以及a^＊＝0和b^＊＝0的平均值作为目标值；

计算接近值以将所述参考白色估计值移动到所述目标值；以及

将所述接近值移动至所述RGB色彩空间

所述的计算所述接近值，包括通过应用在下面的等式4中表示的恒模算法(CMA)来计算所述接近值，

[等式4]

其中，App_point是接近值，Tar_point是目标值，Ave-image是参考白色估计值，μ是任意接近项，而每个所述接近值、所 述目标值、以及所述参考白色估计值均被表示为[L^＊a^＊b^＊]的矩阵。

13.根据权利要求12所述的方法，其中，所述的将所述接近值移动至所述RGB色彩空间，包括：

基于所述CIE标准将所述接近值具有的所述L^＊a^＊b^＊值转换为XYZ值；以及

将经转换的每个像素的XYZ值转换为RGB值。

14.根据权利要求13所述的方法，其中，所述的将所述L^＊a^＊b^＊值转换为所述XYZ值是经过下面的等式5来执行的，而所述的将经转换的XYZ值转换为所述RGB值是经过等式6来执行的，

[等式5]

var_Y＝(L^*+16)/116

var_X＝a^*/500+var_Y

var_Z＝var_Y-b^*/200

var1_Y＝(var_Y)³当(var_Y)³＞0.008856

var1_Y＝(var_Y-16/116)/7.787当(var_Y)³≤0.008856

var1_X＝(var_X)³当(var_X)³＞0.008856

var1_X＝(var_X-16/116)/7.787当(var_X)³≤0.008856

var1_Z＝(var_Z)³当(var_Z)³＞0.008856

var1_Z＝(var_Z-16/116)/7.787当(var_Z)³≤0.008856

X＝X_n×var1_X/100

Y＝Y_n×var1_Y/100

Z＝Z_n×var1_Z/100

其中，Xn＝95.047，Yn＝100，Zn＝108.883； 

[等式6]

其中L^＊a^＊b^＊是所述接近值的L^＊值、a^＊值、和b^＊值，X、Y、和Z是所述经转换的接近值的X值、Y值、和Z值，以及R、G、和B是所述经转换的接近值的R值、G值、和B值。

15.根据权利要求12所述的方法，其中，所述的计算所述色彩增益，包括：

对移动至所述RGB色彩空间中的所述接近值进行规格化；以及

将经规格化的接近值的倒数确定为色彩增益。

16.根据权利要求15所述的方法，其中，如下面的等式7来确定所述色彩增益，

[等式7]

其中R_gain、G_gain，以及B_gain分别表示有关输入图像的R值、G值、以及B值的色彩增益，以及R、G、以及B分别表示接近值的R值、G值、以及B值。

17.根据权利要求1所述的方法，进一步包括：

通过将计算出的色彩增益应用至所述输入图像来补偿所述输入图像的色调；以及 

通过将具有经补偿的色调的所述输入图像设置为新输入图像，来重复所述的转换所述色彩空间、所述的确定将被用于估计所述参考值的像素、所述的确定所述参考白色估计值、所述的计算所述色彩增益、以及所述的补偿所述色调。 

Images