CN103200410B - 白平衡控制方法及其装置 - Google Patents

Abstract

本发明公开了一种白平衡控制方法及其装置，所述方法包括以下步骤：A0、定义参考点及对应的色彩空间上的坐标范围；A1、按照某种规则划分图像的观测区域；A2、分别计算得到连续两帧图像的观测区域参考点色度分量统计信息；A3、分析两帧图像的观测区域参考点色度分量统计信息的变化趋势，当观测区域的统计信息变化趋势一致时，触发白平衡调整模块。本发明中的白平衡控制方法和装置能够很好的区分场景本身的变化和光源色温的变化，引入的保护机制可以预防白平衡调整失败的情况。实验结果表明，在同样的测试环境下，相对其它方法，本发明能够最大程度的保留白色块不偏色。

Description

白平衡控制方法及其装置

技术领域

本发明涉及一种图像处理技术领域，尤其涉及一种白平衡控制方法及其装置。

背景技术

白平衡的目的是，以某一色温光源照射时的图像为目标值，调整图像的色度增益，消除或减弱场景光源在不同色温变化时对于图像质量的影响，使图像质量尽可能与目标色温光源照射下一致。

不难看出，白平衡控制的实质是跟踪光源色温的变化，并根据这个变化值来动态调整图像的色度增益。而在实际应用中，除了场景光源可能在不同色温变化，场景自身也可能在发生变化。因此，白平衡控制的难点是如何剔除单纯的场景变化而只跟踪光源的色温变化。

现有的实用白平衡控制方法可以归纳为以下几类：1.基于某种假设的方法，如假设整幅图像的颜色均值是灰色的灰度世界法(Gray-world)，假设整幅图像各通道值最大区域是白色的极大值法Max-RGB。2.基于参考点统计信息的色温估计白平衡调整方法。第一类方法完全不考虑色温的变化，只是简单的统计整幅图像的色度值，并向满足其假设的目标值方向调整图像的色度增益。由于实际场景经常不满足这类假设，因此限制了这类方法的使用范围。第二类方法通过图像中观测区域参考点统计信息的均值变化来推断场景中光源色温的变化进而进行白平衡调整。相对第一类方法，后者的可靠性更高。但是在实际应用中，场景的变化而非光源色温的变化也可能导致图像中观测区域参考点统计信息的均值变化。

例如：当前场景光源色温为6500K，并且场景的观测区域中白色或灰色占较大比例，当场景的观测区域开始有黄色物体或者蓝色物体出现时，即使场景光源色温没有变化，但是观测区域参考点统计信息的红色或者蓝色分量的均值开始变大。如果仅依赖于这些统计信息的均值变化来推断场景中光源色温的变化，会推断出光源色温降低或者升高的结论，按照这个结论调整图像的色度增益会导致最终白平衡调整失败，图像偏蓝或者偏红。

专利《启动白平衡调节的控制方法和控制装置》一文中提到了使用背景检测单元提取图像的背景区域，定义背景区域为观测区域，通过比较连续两帧观测区域色度均值的差异来判断图像光源色温是否发生变化。这种方法某种程度上削弱了运动物体对白平衡的影响，但是加入了背景检测和提取单元，增加了白平衡控制的运算复杂度。而且从本质上来说，依然属于通过观测区域参考点统计信息的均值变化来推断场景中光源色温的变化的方法。

例如，对于光线反射能力较差的物体，比如颜色较深的块，其对于光源色温的变化并不敏感，假设背景区域存在相对较多的这些块，那么光源色温即使发生比较大的变化，对应到参考点统计信息的均值变化依然很小甚至不发生变化（比如整个背景全部由颜色较深的块组成时），可能无法触发启动白平衡调整的阈值，进而导致色温变化的漏判。

由上述可知，现有白平衡技术通常假设观测区域参考点统计信息的均值发生变化对应着场景中光源色温的变化，而这种假设在场景本身发生变化时并不成立，进而可能导致误判光源色温变化，白平衡调整失败。即使某些白平衡控制方法通过背景提取等方法限制观测区域，却依然延续了统计信息的均值变化对应着光源色温变化的这一假设，忽略了观测区域均值变化无法如实反映场景光源色温变化的情况。而且新增的背景提取相关模块也额外增加了白平衡控制的运算复杂度。

发明内容

本发明所要解决的技术问题是提供一种简易可行的白平衡控制方法及其装置，解决目前白平衡控制方法中普遍采用的以观测区域统计信息均值来估计场景中光源色温的变化从而可能导致白平衡失效的问题，在提高白平衡调节的可靠性的同时没有额外增加运算复杂度。

为实现上述技术效果，本发明公开了一种白平衡控制方法，所述方法包括以下步骤：

A0、定义参考点及对应的色彩空间上的坐标范围；

A1、按照某种规则划分图像的观测区域；

A2、分别计算得到连续两帧图像的观测区域参考点色度分量统计信息；

A3、分析两帧图像的观测区域参考点色度分量统计信息的变化趋势，当观测区域的统计信息变化趋势一致时，触发白平衡调整模块。

所述方法进一步的改进在于，所述步骤A0包括：选择白平衡参考点，并定义所述白平衡参考点在色彩空间上的坐标范围。

所述方法进一步的改进在于，所述步骤A1包括：对输入图像进行色度空间转换至RGB域或YCBCR域，按照所述某种规则将转换后的图像在空间上划分成若干个小的观测区域。

所述方法进一步的改进在于，所述步骤A2包括：统计有效观测区域，进一步包括查找计算每一个观测区域内的白平衡参考点的总数；得到若干个有效观测区域；同时计算连续两帧图像对应观测区域的白平衡参考点的色度分量统计信息；当有效观测区域数目小于某个阈值时，不调整当前帧图像色度增益。

所述方法进一步的改进在于，所述步骤A3包括：对观测区域白平衡参考点的色度分量统计信息进行滤波，得到滤波后的色度分量统计信息；计算两帧图像对应观测区域的分量统计信息之差；得出光源色温变化幅度，并根据色温变化幅度调整图像目标色度增益。

本发明还公开了一种白平衡控制装置，包括：

空间转换单元，用于将输入图像转换至目标色彩空间；

观测区域划分单元，所述观测区域划分单元连接所述空间转换单元，用于按照某种规则在空域上将输入图像划分至若干观测区域；

色度分量计算单元，所述色度分量计算单元连接所述观测区域划分单元，用于计算两帧图像的观测区域内的色度分量；

保护单元，所述保护单元连接所述色度分量计算单元，用于判断是否延续使用前一帧的图像目标色度增益；

色度增益调整单元，所述色度增益调整单元连接所述保护单元，用于根据图像目标色度增益调整白平衡各通道增益。

所述装置进一步的改进在于，所述某种规则是静态的以预定义空域坐标作为划分规则。

所述装置进一步的改进在于，所述某种规则是动态的按照图像运动检测结果作为划分规则。

所述装置进一步的改进在于，所述色度分量计算单元进一步包括色度分量滤波单元以及与所述色度分量滤波单元相连接的色温变化判断单元、色度中值计算单元和色度极值计算单元。

本发明由于采用了以上技术方案，使其具有以下有益效果是：本发明中的白平衡控制方法和装置能够很好的区分场景本身的变化和光源色温的变化，引入的保护机制可以预防白平衡调整失败的情况。实验结果表明，在同样的测试环境下，相对其它方法，本发明能够最大程度的保留白色块不偏色。本发明没有使用白平衡控制方法中常用的色度统计均值，而是从本质出发，考察两帧图像有效观测区域的色度统计值的变化趋势。这样可以避免场景本身发生变化以及其它因素对于色度统计均值的影响，可以比较真实的反映场景光源色温变化的情况。同时本发明实现方式灵活，可以避免背景提取等复杂模块引入的复杂运算。

附图说明

图1是本发明白平衡控制装置的一个实施例的结构示意图。

图2是本发明白平衡控制方法的一个实施例的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

白平衡控制方法中，经常通过计算观测区域参考点统计信息的均值来推测场景中光源的色温。专利《启动白平衡调节的控制方法和控制装置》一文则试图通过添加额外的背景提取模块来限制观测区域，进而提升参考点统计信息的均值的可靠程度。

与上述白平衡控制方法不同，本发明是通过以下技术方案实现的。

首先参阅图1所示，是本发明白平衡控制装置1的一个实施方式的结构示意图，该装置1主要包括空间转换单元201，观测区域划分单元202，色度分量计算单元203，保护单元204，色度增益调整单元205。

其中，空间转换单元201，用于将输入图像转换至目标颜色空间。

观测区域划分单元202连接空间转换单元201，用于按照某种规则在空域上将输入图像划分至若干观测区域，其中上述的某种规则既可以是静态的以预定义空域坐标作为划分规则，也可以是动态的按照图像运动检测结果作为划分规则，或者其它规则。

色度分量计算单元203连接观测区域划分单元202，用于计算两帧图像的观测区域内的色度分量，色度分量计算单元203进一步包括色度分量滤波单元231以及与分量滤波单元231相连接的色温变化判断单元232、色度中值计算单元233和色度极值计算单元234。

色度分量滤波单元231，用于分别对两帧图像的每一个有效观测区域色度分量统计信息进行滤波，将向量ε_i,j滤波为标量C_i,j,其中下标i表示时间域上的第i帧，j表示空间域上的第j块观测区域，ε_i,j是向量，由第i帧空间域上第j块观测区域的所有参考点色度分量统计信息组成。假设该观测区域参考点个数为s，则ε_i,j是s维向量。C_i,j是标量。其中，滤波既可以是简单的中值，也可以是复杂的加权平均，权值的计算可以动态的根据每个实际参考点相对理想值的差异得到或者简单的高斯加权，或者其它滤波方法。

色温变化判断单元232，用于计算两帧图像第i帧与第k帧对应观测区域C_i,j与C_k,j之差D_j，当D_j中的元素同时向某一个方向变化时，根据Z_jmax区域色度分量统计值调整图像色度增益。其中，D_j中的最大值在当前帧i帧中对应的观测区域为Z_jmax。

色度中值计算单元233，用于计算当前帧n个有效观测区域C_i,j，j=1,2…n的色度统计中值。

色度极值计算单元234，用于计算当前帧n个有效观测区域C_i,j，j=1,2…n的色度统计极大值和极小值。

保护单元204连接观测区域划分单元202，用于判断是否延续使用前一帧的图像目标色度增益。

色度增益调整单元205连接保护单元204，用于根据图像目标色度增益调整白平衡各通道增益。

配合图2所示，是本发明提供的白平衡控制方法的一个实施方式的流程图，具体包括如下步骤：

A)对两帧输入图像进行色彩空间转换，分离出R、G、B三通道。需要注意的是，将图像转换至RGB域只是本专利的一个具体实施例，具体实现可以是YUV域或其它色彩空间，无论在何种色彩空间中计算，都不对本专利构成限制。所述两帧图像中，有一帧是当前帧图像，另一帧图像既可以是前一帧图像也可以是之前任何一帧图像。

B)在空间域上，按照预定义规则分别将两帧输入图像在空域上划分成若干观测区域。本实施例中通过空间坐标将输入图像的幅面平均分为16x16个观测区域。需要注意的是，按照图像幅面平均划分观测区域只是本专利的一个具体实施例。具体实现中，可以按照背景检测结果提取并划分图像背景作为观测区域，具体的背景提取方法有很多，在此不做赘述。无论在何种方法定义并划分观测区域，都不对本专利构成限制。

C）按照预定义的白平衡参考点在色彩空间上的坐标范围在每一个观测区域内统计参考点的数目，当某个观测区域的白平衡参考点总数小于某个阈值时，则认为该观测区域无效；当参考点数目大于预定义阈值时，认为该观测区域有效。计算有效观测区域的所有参考点色度分量统计值（R/B值），假设第i帧第j个有效观测区域，有s个参考点，则该区域色度分量统计值记为ε_i,j，是s维向量。

D)采用中值滤波将每个有效观测区域的所有参考点色度分量统计值向量ε_i,j提取为一个标量C_i,j。需要注意的是，按照中值滤波提取只是本专利的一个具体实施例。具体实现中，所述滤波既可以是简单的中值，也可以是复杂的加权平均，权值的计算可以动态的根据每个实际参考点相对理想值的差异得到或者简单的高斯加权，或者其它滤波方法。

E)若当前帧i帧的有效区域有n_i个，前帧k帧的有效区域为n_k个，则总的有效的观测区域为两者在空间上的交集n，n=n_i∩n_k，若n小于某个阈值如16时，不调整当前帧图像色度增益。否则分别计算两帧图像对应的n个有效观测区域C_i,j与C_k,j之差D_j，当D_j大于某个预定义的阈值时，认为该点无效，将其滤除，最终得到n’维向量D。当D中的元素向某一个方向变化时，则认为光源色温发生了变化，并且变化趋势与D中的元素变化趋势一致。此时根据色温变化调整图像目标色度增益。反之则认为光源色温没有变化。

F)由于相同材质的前提下，一般认为白色区域对于光源色温的变化最敏感。因此，在布骤E）中判断光源色温发生变化后，在向量D的所有标量中查找最大值，其对应的第i帧的观测区域为Z_jmax，读取该区域所有参考点的R,G,B值，为三个向量R_i,jmax，G_i,jmax，B_i,jmax，采用D）中的滤波方法分别将其提取为三个标量根据这三个标量计算与作为白平衡R通道和B通道色度调整的目标增益，同时将这两个增益更新至R_PreTag与B_PreTag，白平衡目标增益计算结束。

G)在布骤E）中判断光源色温没有发生变化后，计算当前帧i帧的所有有效观测区域色度统计值C_i,j的中值j=1,2…n_i，其对应的第i帧的观测区域为Z_jmed，按照布骤F）中类似的方法计算出R通道和B通道色度调整的目标增益R_MedTag与B_MedTag。若其与当前应用的R通道和B通道色度调整目标增益R_PreTag与B_PreTag满足以下公式：|R_MedTag+B_MedTag-R_PreTag-B_PreTag|≥Th1，其中Th1为阈值，||为取绝对值操作，并且持续满足该公式一段时间，比如两百帧后，触发保护机制，使用观测区域色度分量的中值R_MedTag与B_MedTag替换当前应用的R通道和B通道色度调整目标增益。白平衡目标增益计算结束。

考虑到白平衡控制的鲁棒性，防止某些极端情况下的色温变化漏判以及错误的传递。本发明同时引入了保护机制，当认为光源色温无变化时，若以下情况中的任意一个成立：

a、若以当前帧观测区域色度分量C_j的中值计算出的图像色度增益与当前应用的目标色度增益差异大于某个阈值时；

b、当C_i,j中极大值与极小值差异大于某个阈值时。

并且持续一段时间后，即使判断色温没有变化，依然不再延续使用前一帧的图像目标色度增益，而改用观测区域色度分量的中值作为调整图像色度增益的依据。

即在布骤E）中判断光源色温没有发生变化后，计算当前帧i帧的所有有效观测区域色度统计值C_i,jj=1,2…n_i中的极大值与极小值，若两者差异大于某个阈值时，并且持续满足该条件一段时间，比如两百帧后，触发保护机制，使用观测区域色度分量的中值R_MedTag与B_MedTag替换当前应用的R通道和B通道色度调整目标增益。白平衡目标增益计算结束。

H)若布骤G）未触发保护机制，则不改变白平衡目标增益，延续使用R_PreTag与B_PreTag为目标色度增益。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (7)

1.一种白平衡控制方法，其特征在于所述方法包括以下步骤：

A0、定义白平衡参考点及对应的色彩空间上的坐标范围；

A1、按照某种规则划分图像的观测区域；

A2、分别计算得到连续两帧图像的观测区域的白平衡参考点色度分量统计信息，包括：

按照预定义的白平衡参考点在色彩空间上的坐标范围在每一个观测区域内统计白平衡参考点的数目；

当某个观测区域的白平衡参考点数目小于预定义阈值时，则认为该观测区域为无效观测区域；

当某个观测区域的白平衡参考点数目大于预定义阈值时，则认为该观测区域为有效观测区域；

统计有效观测区域；

计算有效观测区域的所有白平衡参考点的色度分量统计信息；

得到连续两帧图像对应观测区域的白平衡参考点的色度分量统计信息；当有效观测区域的数目小于某个阈值时，不调整当前帧图像色度增益；

A3、分析两帧图像的观测区域参考点色度分量统计信息的变化趋势，当观测区域的统计信息变化趋势一致时，触发白平衡调整模块。

2.如权利要求1所述的方法，其特征在于所述步骤A0包括：选择白平衡参考点，并定义所述白平衡参考点在色彩空间上的坐标范围。

3.如权利要求2所述的方法，其特征在于所述步骤A1包括：对输入图像进行色度空间转换至RGB域或YCBCR域，按照所述某种规则将转换后的图像在空间上划分成若干个小的观测区域。

4.如权利要求3所述的方法，其特征在于所述步骤A3包括：对观测区域白平衡参考点的色度分量统计信息进行滤波，得到滤波后的色度分量统计信息；计算两帧图像对应观测区域的分量统计信息之差；得出光源色温变化幅度，并根据色温变化幅度调整图像目标色度增益。

5.一种白平衡控制装置，其特征在于所述装置包括：

空间转换单元，用于将输入图像转换至目标色彩空间；

观测区域划分单元，所述观测区域划分单元连接所述空间转换单元，用于按照某种规则在空域上将输入图像划分至若干观测区域；

色度分量计算单元，所述色度分量计算单元连接所述观测区域划分单元，所述色度分量计算单元进一步包括色度分量滤波单元以及与所述色度分量滤波单元相连接的色温变化判断单元、色度中值计算单元和色度极值计算单元，用于计算连续两帧图像的有效观测区域内的色度分量；

保护单元，所述保护单元连接所述色度分量计算单元，用于判断是否延续使用前一帧的图像目标色度增益；

色度增益调整单元，所述色度增益调整单元连接所述保护单元，用于根据图像目标色度增益调整白平衡各通道增益。

6.如权利要求5所述的装置，其特征在于：所述某种规则是静态的以预定义空域坐标作为划分规则。

7.如权利要求5所述的装置，其特征在于：所述某种规则是动态的按照图像运动检测结果作为划分规则。