CN103839236A - 一种基于稀疏表示的图像白平衡方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的图像白平衡方法，该方法包含以下步骤：获取大量各种场景和环境下的训练图像，并利用标准色板测量得到每幅训练图像拍摄时的光照色度值；对每一幅训练图像统计其对应的颜色特征；给定一测试图像，利用所述训练图像的光照色度值和颜色特征，估算所述测试图像的光照色度值；利用得到的测试图像的光照色度值，通过对角模型对所述测试图像中每个像素的颜色进行校正，得到经过白平衡的图像。本发明可应用到相机的白平衡处理，图像的光照变换以及颜色恒常性计算等领域，具有广阔的应用前景。

Description

一种基于稀疏表示的图像白平衡方法

技术领域

本发明涉及图像处理、计算摄影学以及模式识别等技术领域，尤其是一种基于稀疏表示的图像白平衡方法。

背景技术

颜色作为一种简单、直接且有效的特征已经广泛应用于图像处理、物体识别、图像检索、场景理解等各种计算机视觉相关领域。但是颜色又是一种极其不稳定的图像特征，任何一种成像设备所获取的图像颜色至少依赖于三种主要的因素：场景中物体表面的物理反射特性、成像时场景中的光照条件以及成像设备的成像参数，因此，同一场景在不同光照下的图像颜色有可能存在巨大的差异。图像白平衡技术就是消除光照对颜色的影响，将未知光照条件下的图像校正成标准白光下的图像，这个过程一般可分为两个步骤：首先估计出图像成像时的光照颜色，然后利用对角模型(又称Von Kries模型)将图像映射到标准白光下，而光照估计则是图像白平衡技术中最为重要的一步。

现有的光照估计算法可以分为无监督的算法和有监督的算法。无监督的光照估计算法是指利用图像本身底层的颜色特征估计得到图像成像时的光照颜色，而不依赖于其他的任何先验知识，主要包括White Patch算法、Grey World算法、Shades of Grey(SoG)算法以及Grey Edge算法。有监督的光照估计算法通过大量训练图像对各种光照条件下可能出现的颜色(或色度)进行学习，来预测未知光照图像的光照颜色，主要包括色域映射算法(Gamut Mapping)、贝叶斯算法(Bayesian Color Constancy)、基于相关性的光照估计算法(Color by Correlation)、基于BP神经网络的算法、以及基于支持向量回归(SVR)的算法等等。

目前，有监督的算法的性能一般要优于无监督的算法。在现有的有监督的光照估计算法中，基于神经网络和基于SVR的算法是两种比较简单实用而且有效的算法。但是，这两种算法最大的缺点就是估计模型固定，也就是说，给定训练数据集，利用这两种方法得到的预测模型后，所有的测试样本都是采用这种固定模型来进行光照。这种固定模型常常约束了算法的泛化能力和适应性。

发明内容

本发明的主要目的是提供一种动态估计模型的基于稀疏表示的图像白平衡方法。

为了达到上述目的，本发明提供一种基于稀疏表示的图像白平衡方法，该方法包括以下步骤：

步骤1：获取大量各种场景和环境下的训练图像，并利用标准色板测量得到每幅训练图像拍摄时的光照色度值；

步骤2：对每一幅训练图像统计其对应的颜色特征；

步骤3：给定一测试图像，利用所述训练图像的光照色度值和颜色特征，估算所述测试图像的光照色度值；

步骤4：利用得到的测试图像的光照色度值，通过对角模型对所述测试图像中每个像素的颜色进行校正，得到经过白平衡的图像。

从上述技术方案可以看出，本发明具有以下优点：

1、本发明提供的基于稀疏表示的图像白平衡方法，将稀疏编码理论引入到图像光照估计当中，充分利用了人的视觉认知理论来指导图像的光照估计。

2、本发明提供的基于稀疏表示的图像白平衡方法是一种无模型的光照估计算法。因此，它能够根据不同的测试图像构建不同的估计模型，从而避免了固定模型的缺点；此外，这种无模型的学习方法的另一个优点就是很容易扩展成在线增量学习的形式。

附图说明

图1为本发明基于稀疏表示的图像白平衡方法的流程图。

图2为本发明一实施例中使用的24色标准色板，白色框内的色卡用来测量训练图像的光照值。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明基于稀疏表示的图像白平衡方法的流程图，如图1所示，所述基于稀疏表示的图像白平衡方法包括以下步骤：

步骤1：获取大量各种场景和环境下的训练图像，并利用标准色板测量得到每幅训练图像拍摄时的光照色度值；

在拍摄训练图像时，最好针对某一固定型号的相机来拍摄。

这些训练图像应该尽可能地包含各种日常可能的光照条件，例如：户外日光环境、人工光源环境等，同时应该尽可能地包含各种不同的场景和内容，例如：室内、室外、街道、人物、动物等等。在拍摄训练图像的过程中，最好关闭闪光灯以免对真实光照产生影响。

此外，还需要将一个标准色板放置在拍摄场景中，并拍摄到训练图像当中去。在本发明一实施例中，所述标准色板为24色标准色板，如图2所示，在光照测量时，采用色板中的某几块色卡的平均颜色作为每个训练图像拍摄时的光照色度值，比如图2中，可采用色板最下方白色方框中的六块“灰色”色卡的平均颜色作为每个训练图像拍摄时的光照色度值。

步骤2：对每一幅训练图像统计其对应的颜色特征；

在本发明一实施例中，所述颜色特征为二值化颜色直方图特征；

所述步骤2进一步包括以下步骤：

步骤21，将所述训练图像中每一像素的RGB三维颜色坐标转换成二维rg色度坐标系，并加上颜色强度(R+G+B)维度，以构成新的r-g-l三维颜色坐标系，其中坐标转换公式为：

$\left\{\begin{array}{c}r=\frac{R}{R+G+B}\\ g=\frac{G}{R+G+B}\\ l=R+G+B\end{array}\right.;$

步骤22，分别将获得的r分量和g分量平均划分为M个(比如50个)bin，将l分量平均划分为L个(比如25个)bin；

步骤23，对于每幅训练图像，根据是否有对应的颜色值落在某个bin中，来设置该bin对应的特征值(1或者0)，从而构成了一个M×M×L维(50×50×25＝62500维)的二值化颜色直方图特征。

步骤3：给定一测试图像I_y，利用所述训练图像的光照色度值和颜色直方图特征，估算所述测试图像的二维光照色度值e_y＝[r_y，g_y]^T；

所述步骤3进一步包括以下步骤：

步骤31，提取所述测试图像I_y的二值化颜色直方图特征c_y；

步骤32，基于稀疏表示理论，即基于稀疏表示模型，利用所有训练图像的颜色直方图特征来线性重构所述测试图像的颜色直方图特征，得到重构系数γ；

该步骤中，通过构建目标函数来得到所述重构系数γ，所述目标函数表示为：

$\underset{\mathrm{\γ}}{\min }{\left|\right|c_y-\mathrm{C\γ}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\γ}\left|\right|}_1,$

其中，C＝[c₁，c₂，…，c_N]是由所有训练图像的二值化颜色直方图特征构成的基矩阵，c₁，c₂，…，c_N为N幅训练图像I₁，I₂，…，I_N对应的二值化颜色直方图特征；γ∈R^N为重构系数，表示每一个训练图像在重构过程中的权重；λ为目标函数的正则化系数。

该目标函数中，第一项

表示重构误差，正则化项‖γ‖₁表示重构系数的l₁范数约束。那么，λ越大则要求重构系数γ越稀疏，即非零系数越少。对于上式的优化，可采用很多广泛使用的Accelerated ProximalGradient(APG)方法来求解重构系数γ。

步骤33，在求得重构系数γ后，可利用训练图像的光照色度值，来估算所述测试图像的二维光照色度值e_y＝[r_y，g_y]^T：

$e_y=E\widehat{\mathrm{\γ}}.$

其中，E＝[e₁，e₂，…，e_N]为由N幅训练图像的二维光照色度值e₁，e₂，…，e_N(e_i＝[r_i，g_i]^T∈R²)组成的向量，

步骤4：利用得到的测试图像的光照色度值，通过对角模型对所述测试图像中每个像素的颜色进行校正，得到经过白平衡的图像。

所述步骤4进一步包括以下步骤：

步骤41，利用估计得到的测试图像的光照色度值e_y＝[r_y，g_y]^T，计算得到光照色度值对应的三维颜色值[R_y，G_y，B_y]^T；

该步骤中，利用公式[r_y，g_y，1-r_y-g_y]^T来计算光照色度值对应的三维颜色值。

步骤42，将所述测试图像的三维颜色值[R_y，G_y，B_y]^T对应到白光下的颜色值[R_w，G_w，B_w]^T，即完成图像的校正。

该步骤中，利用下式表示的对角模型来将所述测试图像的三维颜色值[R_y，G_y，B_y]^T对应到白光下的颜色值[R_w，G_w，B_w]^T：

${[R_w,G_w,B_w]}^T=\left[\begin{array}{ccc}p/r_y& 0& 0\\ 0& p/g_y& 0\\ 0& 0& p/(1-r_y-g_y)\end{array}\right]{[R_y,G_y,B_y]}^T,$

其中，p＞0为可调参数，用来调节图像颜色的强度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于稀疏表示的图像白平衡方法，其特征在于，该方法包括以下步骤：

步骤1：获取大量各种场景和环境下的训练图像，并利用标准色板测量得到每幅训练图像拍摄时的光照色度值；

步骤2：对每一幅训练图像统计其对应的颜色特征；

步骤3：给定一测试图像，利用所述训练图像的光照色度值和颜色特征，估算所述测试图像的光照色度值；

步骤4：利用得到的测试图像的光照色度值，通过对角模型对所述测试图像中每个像素的颜色进行校正，得到经过白平衡的图像。

2.根据权利要求1所述的方法，其特征在于，拍摄所述训练图像的设备型号固定，并关闭闪光灯。

3.根据权利要求1所述的方法，其特征在于，所述训练图像包含各种日常光照条件和各种不同的场景和内容。

4.根据权利要求1所述的方法，其特征在于，所述标准色板放置在所述训练图像的拍摄场景中，并拍摄到训练图像中。

5.根据权利要求1所述的方法，其特征在于，所述步骤2进一步包括以下步骤：

步骤21，将所述训练图像中每一像素的RGB三维颜色坐标转换成二维rg色度坐标系，并加上颜色强度维度，以构成新的r-g-l三维颜色坐标系；

步骤22，分别将获得的r分量和g分量平均划分为M个bin，将l分量平均划分为L个bin；

步骤23，对于每幅训练图像，根据是否有对应的颜色值落在某个bin中，来设置该bin对应的特征值，从而构成了一个M×M×L维的颜色特征。

6.根据权利要求5所述的方法，其特征在于，所述步骤21中，利用下式进行坐标转换：

$\left\{\begin{array}{c}r=\frac{R}{R+G+B}\\ g=\frac{G}{R+G+B}\\ l=R+G+B\end{array}\right..$

7.根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤：

步骤31，提取所述测试图像I_y的颜色特征c_y；

步骤32，基于稀疏表示理论，利用所有训练图像的颜色特征来线性重构所述测试图像的颜色特征，得到重构系数γ；

步骤33，利用重构系数γ和训练图像的光照色度值，估算得到所述测试图像的二维光照色度值

$e_y=E\widehat{\mathrm{\γ}}.$

其中，E＝[e₁，e₂，…，e_N]为由N幅训练图像的二维光照色度值e₁，e₂，…，e_N(e_i＝[r_i，g_i]^T∈R²)组成的向量，

8.根据权利要求7所述的方法，其特征在于，所述步骤32中，通过构建目标函数来得到所述重构系数γ，所述目标函数表示为：

$\underset{\mathrm{\γ}}{\min }{\left|\right|c_y-\mathrm{C\γ}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\γ}\left|\right|}_1,$

其中，C＝[c₁，c₂，…，c_N]是由所有训练图像的颜色特征构成的基矩阵，c₁，c₂，…，c_N为N幅训练图像I₁，I₂，…，I_N对应的颜色特征；γ∈R^N为重构系数，表示每一个训练图像在重构过程中的权重；λ为目标函数的正则化系数。

9.根据权利要求7所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤41，利用得到的测试图像的光照色度值

计算得到光照色度值对应的三维颜色值[R_y，G_y，B_y]^T：[r_y，g_y，1-r_y-g_y]^T；

步骤42，将所述测试图像的三维颜色值[R_y，G_y，B_y]^T对应到白光下的颜色值[R_w，G_w，B_w]^T，即完成图像的校正。

10.根据权利要求9所述的方法，其特征在于，所述步骤42中，利用下式表示的对角模型来将所述测试图像的三维颜色值[R_y，G_y，B_y]^T对应到白光下的颜色值[R_w，G_w，B_w]^T：

${[R_w,G_w,B_w]}^T=\left[\begin{array}{ccc}p/r_y& 0& 0\\ 0& p/g_y& 0\\ 0& 0& p/(1-r_y-g_y)\end{array}\right]{[R_y,G_y,B_y]}^T,$

其中，p＞0为可调参数，用来调节图像颜色的强度。

Images