CN1832583A - 具有自动白平衡控制的设备、介质和方法 - Google Patents

Abstract

一种自动白平衡控制成像设备、介质和方法。该自动白色控制成像设备可包括：色彩空间转换单元，将输入图像数据转换为具有色度分量的色彩空间数据；灰色区域提取单元，基于光源的灰色区域提取输入图像数据的灰色区域，所述光源的灰色区域基于多个光源和预定色彩检查器被检测；检测单元，使用色域平均值和色域中心值来提取初始光源信息，并且调整初始光源信息以排除引入到提取的灰色区域的色度分量；增益控制单元，基于调整的初始光源信息计算用于缩放输入图像数据的增益，并且通过将计算的增益应用于输入图像数据来控制白平衡。

Description

具有自动白平衡控制的设备、介质和方法

                         技术领域

本发明的实施例涉及一种具有自动白平衡控制的设备、介质和方法，该自动白平衡控制能够通过最小化引入灰色区域的色度分量来检测精确的光源并且基于色彩分量被从色彩空间提取的检测的光源信息自动控制白平衡。

                         背景技术

白平衡控制是指在拍摄的图像或视频中调整色彩平衡的色彩控制功能，其通过检测遭受由于输入图像数据中的光源引起的对物体颜色的最大改变的白色，按检测的白色的RGB分量比率决定色温，并且根据色温并基于检测的白色控制红色R和蓝色B，来转换整个色调。

通常，即使当通过例如数字照相机、数字摄像机等的成像设备拍摄相同的物体时，取决于围绕各种相关图像光源，例如白炽灯、荧光灯、日光等的环境，拍摄的图像的颜色看上去不同。人类眼睛具有通过使眼睛适应每一光源而使人类感觉白色是白色的色感一致性，但是成像设备以这种的方式来再现白光，该方式是：由于RGB分量被具有不同色温的光源反映，所以当光源的色温高时蓝色被包括，或者当色温低时红色被包括。

因此，例如当由于光源的改变而使色温改变时，需要白平衡来使白色被正确地感受为白色。例如，可能需要以红色R的增益增加并且蓝色B的增益减小的方式来控制包含蓝色的白色，或者需要以蓝色B的增益增加并且红色R的增益减小的方式来控制包含红色的白色。

这种对白平衡的精确控制需要参考白色的精确检测。为此，基于规定累计拍摄的图像的全部色彩分量的结果为0，即颜色接近于无色的灰色世界假设来控制白平衡。具体地讲，如果输入图像具有宽范围的各种颜色，则灰色世界假设下的白平衡控制能够有效地检测白色。即使当在输入图像中存在主色或者色度分量被引入到提取的灰色区域时，在灰色世界假设下的白平衡控制也必须在获得关于光源的精确信息的情况下来精确地控制白平衡。

                         发明内容

已经做出至少在这里讨论的本发明的实施例来解决上述缺陷以及其他与这些传统布置相关的问题。

本发明的实施例提供一种自动白平衡控制的设备、介质和方法，该自动白平衡控制能够通过最小化从色彩空间提取的引入到灰色区域中的色度分量，并且使用通过排除存在于输入图像中的主色而检测的光源信息，来精确地控制白平衡。

为了实现以上和/或其它方面和优点，本发明的实施例包括具有自动白平衡控制的设备，该设备包括：色彩空间转换单元，将通过图像传感器拍摄的输入图像数据转换为具有色度分量的色彩空间数据；灰色区域提取单元，基于与输入图像数据相关的光源的灰色区域提取输入图像数据的灰色区域，所述光源的灰色区域基于光源和预定色彩检查器被识别；检测单元，通过使用输入图像数据的色域平均值和色域中心值来提取初始光源信息，并且通过使用灰色分量和色度分量之间的亮度差的确定的存在来调整初始光源信息，以排除引入提取的灰色区域的色度分量；和增益控制单元，基于调整的初始光源信息计算被应用以缩放输入图像数据的增益，并且通过将计算的增益应用于输入图像数据来控制输入图像数据的白平衡。

该设备还可包括：信号处理单元，用于对已白平衡的输入图像进行信号处理并将其显示；和/或电荷耦合装置(CCD)，CCD作为图像传感器，并且提供输入图像数据。

色彩空间可以是具有亮度(Y)轴、R/R+G+B轴和B/R+G+B轴的色彩空间，或者是具有亮度(Y)轴、R/G轴和B/G轴的色彩空间。

灰色区域提取单元可基于通过使用多个光源获得的灰色小片数据的平均值来检测每一光源的白点，检测关于每一光源的各个白点的特定范围作为每一光源的各个灰色区域，并且提取包括所述多个光源的所有灰色区域的区域作为输入图像的灰色区域。

检测单元可包括：光源信息提取单元，基于输入图像的色域平均值和色域中心值计算在其上色域平均值被反映的加权平均值，并且基于加权平均值提取初始光源信息；和调整单元，通过使用灰色分量和色度分量之间的亮度差的确定的存在来将灰色区域划分为低亮度的第一区域和高亮度的第二区域，并且基于第一区域的平均值和第二区域的平均值来调整初始光源信息。

光源信息提取单元可将加权平均值垂直地映射到连接所述多个光源的白点的中心轴，当将每一光源的加权平均值映射到每一光源的白点时，基于使误差最小的运动来校正映射到中心轴的加权平均值，并且提取校正的加权平均值作为初始光源信息。

加权平均值可根据以下方程来计算：

                 r_weighted＝(α×r_ave+β×r_gm)/(α+β)

                 b_weighted＝(α×b_ave+β×b_gm)/(α+β)，

这里，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值，α和β分别表示常数，r_ave表示色域平均值的R/R+G+B值，以及b_ave表示色域平均值的B/R+G+B值。

调整单元基于可通过使用灰色区域中的最大值和最小值的平均值和灰色区域的平均值所确定的门限亮度值将灰色区域划分为第一区域和第二区域，并且通过使用第一区域的平均值和第二区域的平均值来调整初始光源信息。

门限亮度值可根据以下方程来计算：

                Y_threshold＝(α×Y_region+β×Y_ave)/(α+β)，

这里，Y_threshold表示门限亮度值，Y_region表示第一区域和第二区域的平均值的平均值，Y_ave表示灰色区域的平均值，以及α和β是任意常数。

调整单元可选择地检测根据距初始光源信息最短距离所在的第一区域的平均值或第二区域的平均值作为调整的光源信息。

调整的光源信息可根据以下方程来计算：

             如果Dist_up＞Dist_down，则r_wht＝r_down，b_wht＝b_down

             如果Dist_up＜Dist_down，则r_wht＝r_up，b_wht＝b_up

这里，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值，r_down和b_down分别表示第一区域的色域平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表示第二区域的色域平均值的R/R+G+B和B/R+G+B值，Dist_up和Dist_down分别表示从初始光源信息到第二区域的平均值的距离，以及从初始光源信息到第一区域的平均值的距离。

增益可根据以下方程来计算：

$R_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{r_{\mathrm{wht}}}$

$B_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{b_{\mathrm{wht}}}$

这里，R_gain和B_gain分别表示应用于红色R和蓝色B的增益，f_scaling表示用于缩放输入图像的缩放因子，以及r_wht和b_wht分别表示调整的光源信息R/R+G+B和B/R+G+B值。

增益控制单元可通过将输入图像的红色R乘以缩放因子的倒数和计算的红色R的增益并将输入图像的蓝色B乘以缩放因子的倒数和计算的蓝色B的增益，来控制输入图像的白平衡。

为了实现上述和/或其它方面和优点，本发明的实施例包括一种自动白平衡控制方法，该方法包括：将由图像传感器拍摄的输入图像数据转换为具有色度分量的色彩空间数据；基于光源的灰色区域提取用于输入图像数据的灰色区域，所述光源的灰色区域基于与输入图像数据相关的多个光源和预定的色彩检查器被识别；通过使用输入图像数据的色域平均值和色域中心值来提取初始光源信息；通过使用灰色分量和色度分量之间的亮度差的确定的存在来调整初始光源信息以排除被引入到提取的灰色区域的色度分量来提取最终信源信息；基于调整的最终光源信息来计算将被应用于对输入图像数据进行缩放的增益；通过将计算的增益应用于输入图像数据来控制输入图像数据的白平衡。

该方法还可包括：对白平衡的输入图像进行信号处理和显示，和/或从作为图像传感器的电荷耦合装置(CCD)提供输入图像数据。

色彩空间可以是具有亮度(Y)轴、R/R+G+B轴和B/R+G+B轴的色彩空间，或是具有亮度(Y)轴、R/G轴和B/G轴的色彩空间。

提取灰色区域的步骤可包括：基于通过使用多个光源获得的灰色小片(patch)数据的平均值来检测用于每一光源的白点，并通过检测关于各个灰色区域的每一各个光源的白点的特定的各个范围作为每一光源来提取包括所有用于多个光源的各个灰色区域作为输入图像的灰色区域。

提取最终光源信息的步骤可包括：基于输入图像数据的色域平均值和色域中心值来计算色域平均值在其上被反映的加权平均值；基于加权平均值来提取初始光源信息；通过使用灰色分量和色度分量之间的亮度差的确定的存在来将灰色区域划分为低亮度的第一区域和高亮度的第二区域；基于第一区域的平均值和第二区域的平均值来调整初始光源信息。

提取光源信息的步骤可还包括：将加权平均值垂直地映射到连接多个光源的白点的中心轴上，当将每一光源的加权平均值映射到每一光源的白点上时，基于使误差达到最小的移动来校正加权平均值；提取校正的加权平均值作为初始光源信息。

可根据下面的方程来计算加权平均值：

                 r_weighted＝(α×r_ave+β×r_gm)/(α+β)

                 b_weighted＝(α×b_ave+β×b_gm)/(α+β)，

这里，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值，α和β分别表示常数，r_ave表示色域平均值的R/R+G+B值，b_ave表示色域平均值的B/R+G+B值。

调整初始光源信息的步骤可包括：基于通过使用通过使用灰色区域中的最大值的最小值的平均值以及灰色区域的平均值而决定的门限亮度值来将灰色区域划分为第一区域和第二区域，并通过使用第一区域的平均值和第二区域的平均值来调整初始光源信息。

可根据下面的方程来计算门限亮度值：

                Y_threshold＝(α×Y_region+β×Y_ave)/(α+β)

这里，Y_threshold表示门限亮度值，Y_region表示第一区域和第二区域的平均值的平均值，Y_ave表示灰色区域的平均值，α和β表示任意常数。

调节初始光源信息的步骤可包括：检测位于距初始光源信息最短距离的第一区域的平均值或第二区域的平均值作为调整的光源信息。

可根据下面的方程计算调整的光源信息：

          如果Dist_up＞Dist_down，则r_wht＝r_down，b_wht＝b_down

          如果Dist_up＜Dist_down，则r_wht＝r_up，b_wht＝b_up

这里，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值，r_down和b_down分别表示第一区域的色域平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表第二区域的色域的平均值的R/R+G+B和B/R+G+B值，Dist_up和Dist_down分别表示从初始光源信息到第二区域的平均值的距离和从初始光源信息到第一区域的平均值的距离。

可根据下面的方程来计算增益：

$R_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{r_{\mathrm{wht}}}$

$B_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{b_{\mathrm{wht}}}$

这里，R_gain和B_gain分别表示将被应用于红色R和蓝色B的增益，f_scaling表示用于对输入图像进行缩放的缩放因子，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值。

控制白平衡的步骤可包括：通过将输入图像的红色R乘以缩放因子的倒数和计算的红色R的增益并将输入图像的蓝色B乘以缩放因子的倒数和计算的蓝色B的增益来控制用于输入图像的白平衡。

为了实现上述和/或其它方面和优点，本发明的实施例包括包含用于实现本发明的方法实施例的计算机可读代码的至少一种介质。

本发明的其它方面和/或优点将在下面的描述中被部分地阐述，并从描述中变得清楚，或可通过本发明的实践而被理解。

                        附图说明

通过下面结合附图进行的描述，本发明的这些和/或其他方面和优点将会变得更加清楚和更容易理解，其中：

图1示出根据本发明实施例的具有白平衡控制的设备，例如成像装置；

图2A和2B示出根据本发明实施例的例如图1的色彩空间转换单元的操作；

图3A至3C示出根据本发明实施例的例如图1的灰色区域提取单元的操作；

图4示出根据本发明实施例的例如图1的检测单元；

图5A至5C示出根据本发明实施例的例如图1的光源信息提取单元的操作；

图6A和6B示出根据本发明实施例的例如图6的调整单元的操作；

图7示出根据本发明实施例的例如成像装置的白平衡控制方法；和

图8A和8B示出根据本发明实施例的白平衡控制之后的灰色小片的柱状图。

                        具体实施方式

现在，详细描述本发明的一些实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。

图1示出根据本发明实施例的具有白平衡控制的设备，例如成像装置。

如图1所示，成像装置中的白平衡控制可能包括例如色彩空间转换单元100、灰色区域提取单元200、检测单元300和增益控制单元600。这里，检测单元300还可包括例如光源信息提取单元400和调整单元500。

色彩空间转换单元100可将输入图像数据转换为用于色彩空间的数据。由于在实际色彩分量范围之外的灰色是有效地反应相对光源的环境的改变的颜色，所以色彩空间变换单元100可将输入图像数据转换为便于检测灰色区域的色彩空间。即，色彩空间转换单元100可将CCD输出的RGB值转换为用于色彩空间的数据，用于容易的灰色区域检测，以控制作为图像传感器的输出值的CCD输出的RGB值的白平衡。

色彩空间可以是例如具有亮度轴、R/(R+G+B)轴和B/(R+G+B)轴的色彩空间或者是具有亮度轴、R/G轴和B/G轴的色彩空间。即，由于当光源产生色偏(color cast)时，灰色的RGB分量之间的比率改变，所以使用CCD输出的RGB值的RGB分量之间的比率作为坐标轴，可将输入图像数据转换为色彩空间。

灰色区域提取单元200可基于通过使用例如多个光源获得的灰色小片(patch)的数据来提取一定范围的灰色区域。这里，多个光源可被表示为例如标号D65、D50、CWF、A等，应注意的是，随着光源数量的增加，提取灰色区域的精确性可被提高。

灰色区域提取单元200可获得用于多个光源的例如Macbeth色彩检查器的灰色小片的数据，并且将获得的灰色小片数据的平均值识别为每一光源的白色。此外，灰色区域提取单元200可利用每一光源的分布特征将关于每一光源的白点的特定区域识别为对于每一光源的灰色区域，并且提取包含对于光源的所有识别的灰色区域的区域作为输入图像的灰色区域。

光源信息提取单元400可使用例如输入图像的色域中心值和平均值来提取初始光源信息。如果在中心值和平均值之间存在大的差值，则光源信息提取单元400可计算色域中心值和平均值，通过将权值应用到计算的平均值来计算加权平均值，并且在提取初始光源信息的过程中使用计算的加权平均值。光源信息提取单元400可垂直地将例如计算的加权平均值映射到光轨迹(bright locus)，并且从垂直映射的光轨迹提取最终确定的初始光源信息，其中，光轨迹是连接由灰色区域提取单元200识别的光源的白点的中心轴。

调整单元500可调整初始光源信息以排除引入到例如由灰色区域提取单元200提取的灰色区域中的色度分量，并且提取最终光源信息。这里，为了提取最终光源信息，调整单元500可利用灰色分量和色度分量之间的差值的存在，基于门限亮度值来划分灰色区域，并且基于划分的灰色区域的平均值来识别最终白点。调整单元500提取划分的灰色区域之外的不包含色度分量的区域的平均值作为调整的光源信息。

此外，调整单元500可将灰色区域划分为更小的区域，以提取更精确的光源信息。而且，如果输入具有单一背景颜色的图像，则调整单元500可通过进一步再次划分已划分的灰色区域的灰色区域来检测高亮区域，并且当调整光源信息时通过确定高亮区域的平均值来提取更精确的光源信息。

增益控制单元600可通过使用例如由调整单元500决定的最终光源信息来计算用于调整输入图像数据的增益，并且通过将计算的增益应用到输入图像数据来调整白平衡。

图2A和2B示出根据本发明实施例的例如图1的色彩空间转换单元100的操作。图2A示出在具有固定亮度的R/G和B/G平面的色彩空间中当R、G和B色彩分量均匀增加时图像数据的分布。此外，图2B示出在具有固定亮度的R/(R+G+B)和B/(R+G+B)平面的色彩空间中当R、G和B色彩分量均匀增加时图像数据的分布。

在图2A中，通常，成像设备不使用例如所有的电荷耦合装置(CCD)数据，但是以特定间隔对CCD数据执行采样，并且使用基于关于采样的数据的预定窗口中的CCD数据的平均值的小片数据。由于灰色区域的平均值可被认为是白点，所以为了提取光源信息，即白点，可基于这种小片数据首先提取灰色区域。此外，由于当光源而导致产生色偏时，灰色的RGB分量之间的比率改变，所以如图2A所示，R/G和B/G平面的色彩空间可被使用。

在图2B中，由于与图2A中显示的色彩空间比较，图像数据相对均匀地分布，所以随着每一色彩分量的RGB分量的均匀增加，提取灰色区域的精确性可被提高。因此，以下，可基于例如图2B所示的具有固定亮度的R/(R+G+B)和B/(R+G+B)平面上的色彩空间来提取关于光源的信息。

图3A至3C示出根据本发明实施例的例如图1的灰色区域提取单元200的操作。图3A示出对于通常四个光源的色域，图3B示出对于四个光源的灰色区域。此外，图3C示出将色度分量引入用于成像设备的检测的灰色区域。这里，在图3A-3C中，标号Gr被用于表示图像设备的灰色区域。

在图3A中，可基于通过利用每一光源获得的色彩检查器的图像数据来检测每一光源的色域。这里，四个光源已经被表示为D65、D50、CWF和A，应注意的是其他光源可被类似地用于提取输入图像的色域。

在图3B中，从例如对四个光源检测的色域中，可基于色彩检查器的灰色小片数据来检测每一光源的灰色区域。对每一光源检测的色彩检查器的灰色小片数据的平均值可相应于白点。因此，每一光源的白点可被检测，随后在关于每一光源的白点周围形成灰色小片改变范围。此外，例如通过四条直线可获得输入图像的建模灰色区域，这四条直线包括对于四个光源的所有的灰色改变范围。

在图3C中，例如由于对光源的改变，色度分量可被引入基于如图3A和3B所示的色彩检查器和四个光源的色域信息所决定的输入图像数据的灰色区域。即，由于灰色区域比用于实际输入图像的光源的灰色区域改变范围被更广泛地提取，所以当如图3B所示对由不同的光源引起的输入图像数据提取灰色区域时，例如青色的色度分量可被引入灰色区域。如图3C所示，例如黄色和青色的色度分量族与例如蓝色、红色、品红色和绿色族的色度分量相比已经被相对进一步引入灰色区域。现在，将根据本发明实施例讨论期望控制提取的光源信息以排除引入到灰色区域的色度分量。

图4示出根据本发明实施例的如图1的检测单元300。

在图4中，上述检测单元300可包括光源信息提取单元400和调整单元500，光源信息提取单元400还可包括色域中心计算单元410、色域平均计算单元420、以及加权平均提取单元430。

色域中心计算单元410可获得作为连接用于在灰色区域提取单元200中计算的光源的白点的中心轴的建模光轨迹，并基于例如由建模中心轴的延长线和例如R/(R+B+G)和B/(R+G+B)轴的交点检测的色域的两个最远点来计算色域中心值。

色域平均计算单元420可计算用于输入图像的色域的色域平均值，加权平均提取单元430可基于例如在色域中心计算单元410中计算的色域中心值和例如在色域平均计算器单元420中计算的色域平均值来计算加权平均值。这里，加权平均值可以是例如基于计算的色域平均值和色域中心值之间的差计算出的平均值通过将加权因子应用于色域平均值而计算的平均值。

调整单元500可通过将不同光源应用于例如作为在光源信息提取单元400中提取的初始光源信息来检测灰色区域，并通过排除引入到灰色区域的色度分量来识别最终的光源信息。

图5A到5C还示出根据本发明实施例的如图1的光源信息提取单元400的操作。图5A示出色域中心计算单元410的操作，图5B示出加权平均提取单元430的操作。图5C示出用于获得基于例如在加权平均提取单元430中计算的加权平均值而决定的初始光源信息的操作。

在图5A中，可通过提取例如用于输入图像的色域的两个最远点并计算所述两个最远点的平均值来计算色域中心。

更详细地说，例如连接用于在灰色区域提取单元200中计算的光源的白点的色彩空间中的中心轴可被识别，例如作为中心轴的延长线和R/(R+B+G)和B/(R+G+B)轴的交点的点X0和Y0可被识别。分别位于从点X0到中心轴和从点Y0到中心轴的最短的距离的点可成为用于输入图像的色域的两个最远点。也就是说，位于从点X0到中心轴的最短距离的点X1和位于从点Y0到中心轴的最短距离的点Y1分别成为最远点。因此，这里，色域中心值与标号g_m相应，即与点X1和Y1的中心值相应。

在图5B中，当例如由色域平均计算单元420计算的平均值不同于例如由色域中心计算单元410计算的中心值时，由于主色存在于色域中，所以可能违背规定平均色彩成为灰色的灰色世界假设。因此，当计算白信息时，由于计算的色域平均值可能未能精确地表示白信息，所以可通过确定色域中心值来识别加权平均值。例如，可根据下面的方程1来计算加权平均值。

方程1

                r_weighted＝(α×r_ave+β×r_gm)/(α+β)

                b_weighted＝(α×b_ave+β×b_gm)/(α+β)

这里，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值，α和β表示常数。此外，r_ave表示色域平均值的R/R+G+B值，b_ave表示色域平均值的B/R+G+B值。

如方程1所示，例如，在加权平均提取单元430中，加权平均值的R/R+B+G值和B/R+G+B值可在例如由色域平均计算单元420计算的色域平均值上反映色域中心值。也就是说，例如如果在色域平均值和色域中心值之间存在差，则加权平均提取单元430可通过将加权因子应用于色域平均值和色域中心值以使色域平均值移向色域中心值来防止由于色域的主色而导致色域平均值在任何特定方向上被偏移，从而能精确地提取初始光源信息。

例如，在图5B所示的色域中，由于当主色是黄色时，由色域平均计算单元420计算的色域平均值具有接近于黄色而不是灰色的值，所以加权平均提取单元430可提取通过在计算的色域平均值上反映色域中心值来将色域平均值移向色域中心值而获得的加权平均值。因此，加权平均提取单元430可防止初始光源信息由于存在主色而没有传统地优选地在色域中均匀地存在的不同色彩而导致的不精确提取。

在图5C中，点“a”表示例如由加权平均提取单元430提取的色域的加权平均值，点“b”表示当色域的加权平均值被映射到光轨迹，即连接用于光源的白点的中心轴上时获得的点“a”，点“c”表示基于映射的点“b”调整的光源。

为了提取初始光源信息，加权平均值“a”被垂直地映射到光轨迹上。也就是说，映射点被分配为处于光轨迹与垂直于光轨迹的包含加权平均值“a”的直线的交点。此外，为了使当每一光源的加权平均值被映射到用于初始光源的白点上时的误差最小，可校正映射到光轨迹上的加权平均值，其后提取初始光源信息。参见下面的方程2。

方程2

$r_{\mathrm{initial}}=l\×r_{\mathrm{weighted}}^2+m\×r_{\mathrm{weighted}}+n$

$b_{\mathrm{initial}}=l^{\′}\×b_{\mathrm{weighted}}^2+m^{\′}\×b_{\mathrm{weighted}}+n^{\′}$

这里，r_initial和b_initial表示初始光源信息，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值。此外，l、m和n以及l′、m′和n′表示任意常数。例如，当位于映射到光轨迹上的加权平均值附近的光源的白点之间的距离小于特定值时，方程2可被应用于调整映射到光轨迹上的加权平均值。

图6A和6B示出根据本发明实施例的如图1所示的调整单元500的操作。

例如，图6A示出调整单元500根据亮度调整初始光源信息的操作。相似地，图6B示出调整单元500通过使用基于亮度划分的区域的平均值来提取最终光源信息的操作。

在图6A中，水平轴表示色度分量，垂直轴表示亮度分量。为了提取被引入到灰色区域的色度分量从其被移除的光源信息，可基于亮度分量来划分灰色区域，初始光源信息基于每一划分的区域的色域平均值在光源信息提取单元300中被调整和提取。

此外，如图6A所示，在基于亮度分量调整初始光源信息的过程中，随着图像数据的色度值增加，色彩分量可能位于色域的边界附近。然而，随着图像数据的灰色值增加，色彩分量向Y轴靠近。因此，由于在灰色分量和色度分量之间存在差，所以可基于亮度将灰色区域划分为包含色度分量的区域和不包含色度分量的区域，并且可基于色度分量被引入到其中的灰色区域来调整提取的初始光源信息。

例如，由于与第一色彩相比，第二色彩具有较高的色度值，所以第二色彩可能位于色域边界的附近。也就是说，由于与第二色彩相比，第一色彩具有较高的灰色值，所以第一色彩相对地离亮度轴较近。这里，第一色彩与第二色彩之间有亮度差，产生亮度差为12-11。

如图6B所示，由于在灰色分量与色度分量之间存在亮度差，所以灰色区域可基于亮度值被划分为具有低亮度值的第一区域和具有高亮度值的第二区域。这里，如图所示，水平轴表示R/R+G+B值，垂直轴表示亮度。图6B还示出灰色区域相对于R/R+G+B值基于亮度被划分，但可获得通过相对于B/R+G+B值基于亮度划分灰色区域而调整的光源信息的R/R+G+B和B/R+G+B值。

如下所示的方程3可用于获得用于划分灰色区域为第一区域和第二区域的参考门限亮度值。

方程3

                 Y_theshold＝(α×Y_region+β×Y_ave)/(α+β)

这里，Y_threshold表示作为划分灰色区域的参考的门限亮度值，Y_region表示划分的灰色区域的各个平均值的平均值，Y_ave表示灰色区域的平均值，α和β表示任意常数。

如方程3所示，可基于最大亮度值和最小亮度值的平均值Y_region和整个灰色区域的色域平均值Y_ave来获得作为划分灰色区域的参考的亮度值。

灰色区域可基于计算的门限亮度值Y_threshold被划分为具有低亮度值的第一区域和具有高亮度值的第二区域。此外，可基于白点WP_down，即第一区域的色域平均值，以及白点WP_up，即第二区域的色域平均值来获得调整的光源信息。因此，例如，下面的方程4可用于获得由调整单元500调整的光源信息。

方程4

            如果Dist_up＞Dist_down，则r_wht＝r_down，b_wht＝b_down

            如果Dist_up＜Dist_down，则r_wht＝r_up，b_wht＝b_up

这里，r_wht和b_wht分别表示白点值，即调整的光源信息的R/R+G+B和B/R+G+B值。此外，r_down和b_down分别表示第一区域的平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表示第二区域的平均值的R/R+G+B和B/R+G+B值。此外，Dist_up和Dist_down分别表示从基于初始光源信息检测的点，即图5c中的点“c”到第二区域的平均值和到第一区域的平均值的距离。因此，下面的方程5可用于获得从初始光源信息值到第一区域的平均值的距离以及从初始光源信息值到第二区域的平均值的距离。

方程5

${\mathrm{Dist}}_{\mathrm{up}}=\sqrt{{(r_{\mathrm{initial}}-r_{\mathrm{up}})}^2+{(b_{\mathrm{initial}}-b_{\mathrm{up}})}^2}$

${\mathrm{Dist}}_{\mathrm{down}}=\sqrt{{(r_{\mathrm{initial}}-r_{\mathrm{down}})}^2+{(b_{\mathrm{initial}}-b_{\mathrm{down}})}^2}$

这里，Dist_up和Dist_down分别表示从初始光源信息值到第二区域的平均值的距离和从初始光源信息值到第一区域的平均值的距离，r_initial和b_initial表示例如由光源信息提取单元400提取的初始光源信息值。此外，r_down和b_down分别表示第一区域的平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表示第二区域平均值的R/R+G+B和B/R+G+B值。

如上面的方程3所示，调整的光源信息成为平均值，其可以是具有到初始光源信息值的最短距离的第一区域的平均值或第二区域的平均值。调整单元500可基于计算的亮度门限值将灰色区域划分为具有高亮度值的第二区域和具有低亮度值的第一区域，将灰色区域划分为色度分量被引入其中的区域和色度分量未被引入其中的区域，并识别用于包括初始光源信息的区域的白点来作为调整的光源信息。因此，通过识别用于色度分量未被引入其中的灰色区域的白点作为最终光源信息，调整单元500可从根据被引入到灰色区域的色度分量来决定的初始光源信息中提取排除了色度分量的光源信息。

另一方面，当输入图像是具有单一背景色的图像时，由于作为高亮度区域的第二区域包括高亮区域，所以调整单元500可通过调整高亮区域的亮度值在其上被反映的光源信息来提取精确的光源信息。当高亮度区域与不包括色度分量的划分的灰色区域，即在其中初始光源信息和用于划分的区域的白点具有最小值的划分的灰色区域相应时，调整单元500可确定划分的灰色区域包括高亮区域。

因此，调整单元500可将作为在基于门限亮度值被划分的灰色区域中的高亮度区域的第二区域再次划分为包含高亮区域的区域以及不包含高亮区域的区域。例如，包含高亮区域的区域可以是与第二区域的亮度的前20％相应的区域。

这里，调整单元500可首先决定高亮区域是否由输入的图像产生，并将确定结果反映在用于将被调整的高亮区域的白点的光源信息上。例如，调整单元500可通过检查高亮区域的平均亮度值是否小于通过将整个灰色区域的平均亮度值乘以3.5获得的亮度值来确定高亮区域是否已经由输入的图像产生。

如果高亮区域的平均亮度值小于通过将整个灰色区域的平均亮度值乘以3.5获得的亮度值，再次注意这仅仅是一个示例，则调整单元500可分配高亮区域的平均值作为调整的光源信息。然而，在这个示例中，如果高亮区域的平均亮度值大于通过将整个灰色区域的平均亮度值乘以3.5获得的亮度值，则调整单元500分配第二区域的平均值作为调整的光源信息。

图7示出根据本发明实施例的用于成像设备的白平衡控制的方法。

在图7中，输入的图像数据可被转换为用于具有色度分量的色彩空间的数据(S901)。为了提取光源信息并控制白平衡，图像数据可被转换为在其中图像数据可被分为色度分量和无色(achromatic)分量的色彩空间，当从光源发生色偏时，可使用改变灰色的RGB分量比率的特性。

例如，这样的色彩空间可以是具有固定亮度的R/G和B/G平面，或是具有固定的亮度的R/R+G+B和B/R+G+B平面。下文中，将描述关于将输入的图像数据转换到具有固定亮度的R/R+G+B和B/R+G+B平面并基于提取的光源信息控制白平衡的操作。

此外，可通过例如以特定的间隔对由图像传感器拍摄的数据进行采样来获得图像数据，采样的数据被用于基于在预定的窗口内的数据的平均值的分片数据。

接下来，例如，可在转换的色彩空间中基于多个光源和色彩检查器来提取用于成像设备的灰色区域(S903)。通常，作为例子，多个光源可以是用于成像设备光源D65、D50、CWF和A，色彩检查器可以是Macbeth色彩检查器，注意其它实施例是等同地可用的。

在此示例中，光源可用于基于从Macbeth色彩检查器获得的图像数据来提取用于光源的灰色区域，包含所有提取的灰色区域的用于成像设备的灰色区域可被提取。更详细地说，可基于Macbeth色彩检查器的灰色小片数据的平均值来提取用于光源的灰色区域，可形成四条直线以包括用于光源的所有提取的灰色区域，从而可提取用于成像设备的灰色区域。这里，在光源数量增加的情况下，基于使用查找表等的非线性方法，而不是被形成以包括用于光源的灰色区域的四条直线，可改善用于成像设备的灰色区域的提取的精度，再次注意其它实施例也是等同地可用的。

可基于输入图像的色域中心值和色域平均值来提取初始光源信息(S905)。当在输入的图像中存在主色时，为了防止违背规定输入的图像数据的平均值成为灰色的灰色世界假设，可为了将被反映的输入图像的色域中心值执行计算。当在输入的图像中存在主色时，由于在输入的图像的色域平均值与输入的图像的色域中心值之间产生大的差值，所以可通过将权值应用于计算的色域平均值和色域中心值来计算加权平均值。

例如，计算的加权平均值可以被垂直地映射到连接在操作S903中提取的灰色区域中的光源白点的中心轴上。也就是说，加权平均值可被映射到一条直线和中心轴相交的点上，在垂直于中心轴的直线中，该条直线包括加权平均值。此外，当每一光源的加权平均值被映射到原始光源的白点上时，可通过调整被映射到光轨迹的加权平均值以使误差最小化来提取初始光源信息。

可基于色度分量被引入其中的灰色区域来控制提取的初始光源信息(S907)。由于基于用于多个光源的灰色区域来提取用于输入的图像的灰色区域，所以色度分量被引入其中的区域被用作用于提取光源信息的灰色区域，而不是用于实际被使用的光源的灰色区域。因此，根据本发明的实施例，期望调整基于色度分量被引入的灰色区域而提取的初始光源信息。

为了调整光源信息，确认在灰色分量和色度分量之间存在亮度差是有益的。如上参照图6A所述，当在具有色度轴和亮度轴的平面上比较灰色分量和色度分量的亮度时，在色度正比于亮度的区域中，灰色分量具有比色度分量更低的亮度值，在色度反比于亮度的区域中，灰色分量具有高于色度分量的亮度值。

因此，由于在灰色分量和色度分量之间存在亮度差，所以可基于门限亮度值来划分灰色区域，在划分的区域的平均值之外，位于初始光源信息附近的平均值可被识别为调整的光源信息。灰色区域可基于门限亮度值被划分为包含色度分量的灰色区域和不包含色度分量的灰色区域，接近于初始光源信息的划分的区域的平均值可被识别为光源信息，不包含色度分量的灰色区域的平均值可被提取作为调整的光源信息。因此，可在已经被引入灰色区域的色度分量已经从其中被排除的地方提取光源信息。

同时，当输入具有单一背景色的输入图像时，可不基于一个门限亮度值将灰色区域划分为两个区域，但高亮度区域可被再次划分。从而为了与将被反映的高亮区域相应的亮度的平均值，可调整初始光源信息。

可基于调整的光源信息计算将被应用于输入的图像的增益(S909)。为了基于提取的光源信息排除由于光源导致的色温变化，可对用于每一输入的图像的RGB数据执行数据进行缩放。例如，可根据以下的方程6来获得在用于输入的图像的RGB数据的缩放中使用的增益。

方程6

$R_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{r_{\mathrm{wht}}}$

$B_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{b_{\mathrm{wht}}}$

这里，R_gain和B_gain表示将被应用于R和B的增益值，f_scaling表示缩放因子，r_wht和b_wht表示作为调整的光源信息的白点的R/R+G+B和B/R+G+B值。此外，g_wht表示光源信息的G值。

计算的增益可被应用于图像数据控制(S911)。可通过将R和B分别乘以例如在方程6中计算的R_gain和B_gain来控制白平衡。也就是说，可通过R’＝R×R_gain/f_scaling，G’＝G，B’＝B×B_gain/f_scaling来控制用于每一输入的图像的白平衡。

图8A和8B示出根据本发明实施例的用于灰色小片的直方图。图8A示出传统的白平衡控制方法被应用于其的灰色小片，图8B示出根据本发明的白平衡控制方法被应用于其的灰色小片。

在图8A和8B中，在传统的白平衡控制方法可被应用于其的用于Macbeth色彩检查器的结果图像中，由于对灰色小片的直方图分布不精确地调整白平衡，所以RGB分量不均匀地分布在图8A的直方图中。然而，图8B示出在根据本发明的白平衡控制方法被应用于其的图像中RGB分量保持其间的平衡。

如上所述，通过检测具有被引入灰色区域的色度分量的最小化的效果的光源信息，并调整白平衡，本发明的实施例可改善白平衡的精度。

此外，当检测用于检测光源信息的灰色区域时，通过基于色域中心值计算色域平均值，本发明的实施例可防止光源信息由于在色域中存在主色而导致的不精确的检测。

除了上述实施例，也可通过至少一种介质，例如计算机可读介质上/中的可读代码/指令来实现本发明的实施例。所述介质可与允许存储和/或发送计算机可读代码的任意介质/媒体相应。

计算机可读代码可在介质上以多种方式以及通过互联网被记录/传送，介质的例子包括磁存储介质(例如ROM、软盘、硬盘等)、光记录介质(例如CD-ROM或DVD)、以及诸如载波的存储/发送介质。介质还可以是分布式网络，从而以分布式方式存储/传送并执行计算机可读代码。

虽然已示出并描述了本发明的一些实施例，但本领域技术人员应理解，在不脱离由权利要求及其等同物定义的范围的本发明的原理和精神的情况下，可对实施例做出改变。

Claims (28)

1、一种具有自动白平衡控制的设备，包括：

色彩空间转换单元，将通过图像传感器拍摄的输入图像数据转换为具有色度分量的色彩空间数据；

灰色区域提取单元，基于与输入图像数据相关的光源的灰色区域提取输入图像数据的灰色区域，所述光源的灰色区域基于光源和预定色彩检查器被识别；

检测单元，通过使用输入图像数据的色域平均值和色域中心值来提取初始光源信息，并且通过使用灰色分量和色度分量之间的亮度差的确定的存在来调整初始光源信息，以排除引入到提取的灰色区域的色度分量；和

增益控制单元，基于调整的初始光源信息计算被应用以缩放输入图像数据的增益，并且通过将计算的增益应用于输入图像数据来控制输入图像数据的白平衡。

2、如权利要求1所述的设备，还包括：信号处理单元，用于对已白平衡的输入图像进行信号处理并将其显示。

3、如权利要求1所述的设备，还包括：电荷耦合装置，所述电荷耦合装置作为图像传感器，并且提供输入图像数据。

4、如权利要求1所述的设备，其中，色彩空间是具有亮度(Y)轴、R/R+G+B轴和B/R+G+B轴的色彩空间，或者是具有亮度(Y)轴、R/G轴和B/G轴的色彩空间。

5、如权利要求1所述的设备，其中，灰色区域提取单元基于通过使用多个光源获得的灰色小片数据的平均值来检测每一光源的白点，检测关于每一光源的各个白点的特定范围作为每一光源的各个灰色区域，并且提取包括所述多个光源的所有灰色区域的区域作为输入图像的灰色区域。

6、如权利要求1所述的设备，其中，检测单元包括：

光源信息提取单元，基于输入图像的色域平均值和色域中心值计算在其上色域平均值被反映的加权平均值，并且基于所述加权平均值提取初始光源信息；和

调整单元，通过使用灰色分量和色度分量之间的亮度差的确定的存在来将灰色区域划分为低亮度的第一区域和高亮度的第二区域，并且基于第一区域的平均值和第二区域的平均值来调整初始光源信息。

7、如权利要求6所述的设备，其中，光源信息提取单元将加权平均值垂直地映射到连接所述多个光源的白点的中心轴，当将每一光源的加权平均值映射到每一光源的白点时，基于使误差最小的运动来校正映射到中心轴的加权平均值，并且提取校正的加权平均值作为初始光源信息。

8、如权利要求6所述的设备，其中，加权平均值根据以下方程来计算：

            r_weighted＝(α×r_ave+β×r_gm)/(α+β)

            b_weighted＝(α×b_ave+β×b_gm)/(α+β)，

其中，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值，α和β分别表示常数，r_ave表示色域平均值的R/R+G+B值，以及b_ave表示色域平均值的B/R+G+B值。

9、如权利要求6所述的设备，其中，调整单元基于通过使用灰色区域中的最大值和最小值的平均值和灰色区域的平均值所确定的门限亮度值将灰色区域划分为第一区域和第二区域，并且通过使用第一区域的平均值和第二区域的平均值来调整初始光源信息。

10、如权利要求9所述的设备，其中，门限亮度值根据以下方程来计算：

            Y_threshold＝(α×Y_region+β×Y_ave)/(α+β)，

其中，Y_threshold表示门限亮度值，Y_region表示第一区域和第二区域的平均值的平均值，Y_ave表示灰色区域的平均值，以及α和β是任意常数。

11、如权利要求9所述的设备，其中，调整单元选择地检测根据距初始光源信息最短距离所在的第一区域的平均值或第二区域的平均值作为调整的光源信息。

12、如权利要求11所述的设备，其中，调整的光源信息根据以下方程来计算：

            如果Dist_up＞Dist_down，则r_wht＝r_down，b_wht＝b_down

            如果Dist_up＜Dist_down，则r_wht＝r_up，b_wth＝b_up

其中，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值，r_down和b_down分别表示第一区域的色域平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表示第二区域的色域平均值的R/R+G+B和B/R+G+B值，Dist_up和Dist_down分别表示从初始光源信息到第二区域的平均值的距离以及从初始光源信息到第一区域的平均值的距离。

13、如权利要求1所述的设备，其中，增益根据以下方程来计算：

$R_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{r_{\mathrm{wht}}}$

$B_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{b_{\mathrm{wht}}}$

其中，R_gain和B_gain分别表示应用于红色R和蓝色B的增益，f_scaling表示用于缩放输入图像的缩放因子，以及r_wht和b_wht分别表示调整的光源信息R/R+G+B和B/R+G+B值。

14、如权利要求13所述的设备，其中，增益控制单元通过将输入图像的红色R乘以缩放因子的倒数和计算的红色R的增益并将输入图像的蓝色B乘以缩放因子的倒数和计算的蓝色B的增益，来控制输入图像的白平衡。

15、一种自动白平衡控制方法，包括：

将由图像传感器拍摄的输入图像数据转换为具有色度分量的色彩空间数据；

基于光源的灰色区域提取输入图像数据的灰色区域，所述光源的灰色区域基于与输入图像数据相关的多个光源和预定的色彩检查器被识别；

通过使用输入图像数据的色域平均值和色域中心值来提取初始光源信息，并且通过使用灰色分量和色度分量之间的亮度差的确定的存在调整初始光源信息以排除引入到提取的灰色区域的色度分量来提取最终光源信息；和

基于调整的最终光源信息来计算将被应用于对输入图像数据进行缩放的增益，通过将计算的增益应用于输入图像数据来控制输入图像数据的白平衡。

16、如权利要求15所述的方法，还包括：对被白平衡的输入图像进行信号处理并将其显示。

17、如权利要求15所述的方法，还包括：从作为图像传感器的电荷耦合装置提供输入图像数据。

18、如权利要求15所述的方法，其中，色彩空间是具有亮度(Y)轴、R/R+G+B轴、B/R+G+B轴的色彩空间，或是具有亮度(Y)轴、R/G轴、B/G轴的色彩空间。

19、如权利要求15所述的方法，其中，提取灰色区域的步骤包括：

基于通过使用多个光源而获得的灰色小片数据的平均值来检测每一光源的白点；和

通过检测关于每一各个光源的白点的特定的各个范围作为每一光源的各个灰色区域来提取包括多个光源的各个灰色区域的区域作为输入图像的灰色区域。

20、如权利要求15所述的方法，其中，提取最终光源信息的步骤包括：

基于输入图像的色域平均值和色域中心值来计算在其上色域平均值被反映的加权平均值，并基于所述加权平均值提取初始光源信息；和

通过使用灰色分量和色度分量之间的亮度差的确定的存在来将灰色区域划分为低亮度的第一区域和高亮度的第二区域，并基于第一区域的平均值和第二区域的平均值来调整初始光源信息。

21、如权利要求20所述的方法，其中，提取光源信息的步骤还包括：将加权平均值垂直地映射到连接多个光源的白点的中心轴上；当将每一光源的加权平均值映射到每一光源的白点上时，基于使误差最小的运动来校正映射到中心轴上的加权平均值；和提取校正的加权平均值作为初始光源信息。

22、如权利要求20所述的方法，其中，根据下面的方程计算加权平均值：

            r_weighted＝(α×r_ave+β×r_gm)/(α+β)

            b_weighted＝(α×b_ave+β×b_gm)/(α+β)，

方程中，r_weighted表示加权平均值的R/R+G+B值，b_weighted表示加权平均值的B/R+G+B值，α和β分别表示常数，r_ave表示色域平均值的R/R+G+B值，b_ave表示色域平均值的B/R+G+B值。

23、如权利要求20所述的方法，其中，调整初始光源信息的步骤包括：基于通过使用灰色区域中的最大值和最小值的平均值以及灰色区域的平均值而决定的门限亮度值来将灰色区域划分为第一区域和第二区域；和通过使用第一区域的平均值和第二区域的平均值来调整初始光源信息。

24、如权利要求23所述的方法，其中，根据下面的方程计算门限亮度值：

            Y_threshold＝(α×Y_region+β×Y_ave)/(α+β)，

方程中，Y_threshold表示门限亮度值，Y_region表示第一区域和第二区域的平均值的平均值，Y_ave表示灰色区域的平均值，α和β表示任意常数。

25、如权利要求23所述的方法，其中，调整初始光源信息的步骤包括：检测位于距离初始光源信息最短距离的第一区域的平均值或第二区域的平均值作为调整的光源信息。

26、如权利要求25所述的方法，其中，根据下面的方程来计算调整的光源信息：

            如果Dist_up＞Dist_down，则r_wht＝r_down，b_wht＝b_down

            如果Dist_up＜Dist_down，则r_wht＝r_up，b_wht＝b_up

其中，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值，r_down和b_down分别表示第一区域色域平均值的R/R+G+B和B/R+G+B值，r_up和b_up分别表第二区域的色域平均值的R/R+G+B和B/R+G+B值，Dist_up和Dist_down分别表示从初始光源信息到第二区域的平均值的距离和从初始光源信息到第一区域的平均值的距离。

27、如权利要求15所述的方法，其中，根据下面的方程计算增益：

$R_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{r_{\mathrm{wht}}}$

$B_{\mathrm{gain}}=f_{\mathrm{scaling}}\×\frac{g_{\mathrm{wht}}}{b_{\mathrm{wht}}},$

方程中，R_gain和B_gain分别表示将被应用于红色R和蓝色B的增益，f_scaling表示用于对输入图像进行缩放的缩放因子，r_wht和b_wht分别表示调整的光源信息的R/R+G+B和B/R+G+B值。

28、如权利要求15所述的方法，其中，控制白平衡的步骤包括：通过将输入图像的红色R乘以缩放因子的倒数和计算的红色R的增益并将输入图像的蓝色B乘以缩放因子的倒数和计算的蓝色B的增益来控制用于输入图像的白平衡。

Images