CN103313068A - 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，具体为一种基于灰边缘约束灰世界的白平衡校正的图像处理方法及装置，解决了现有灰世界算法具有在多数场景准确度高，但是其在部分场景（如大面积单色物体）表现很不稳定和灰边缘算法具有鲁棒性高，但是其准确度不高的问题。一种基于灰边缘约束灰世界的白平衡校正的图像处理方法，首先用灰边缘算法求解得到灰边缘约束，将解的空间限制在灰边缘所约束的范围内，保证算法的基本鲁棒性；再利用灰世界算法在有限的解空间内求出精确解。所提出算法避开了灰边缘和灰世界这两个基本算法的劣势，充分利用了这两个算法的优势，能够快速求出精确解，鲁棒性强。本发明设计合理。

Description

基于灰边缘约束灰世界的白平衡校正图像处理方法及装置

技术领域

本发明涉及数字图像处理技术领域，具体为一种基于灰边缘约束灰世界的白平衡校正的图像处理方法及装置。

背景技术

颜色是图像的基础，也是图像的直观信息。一方面，图像的颜色信息被采集来供人观看，另一方面，图像的颜色信息作为一种重要的线索，在计算机视觉研究中得到广泛的应用，如特征提取、目标识别、图像检索等等。但是，在不同的光照情况下，物体反射出来的颜色有所不同的，白平衡的目的就是消除不同光照的影响，恢复物体在标准光照下的真实颜色。

图像光照估计是白平衡计算的第一步，往往也是最为重要、最难的一步。光照估计的结果往往可以直接用来对图像进行色偏的校正，如摄像机白平衡中就是直接利用光照的色偏情况来调节摄像机的红绿蓝各通道的增益值大小。

现有的光照估计方法有灰世界和灰边缘两个经典的算法。灰世界假设认为：场景中所有物理表面的平均反射是无色差的（灰色的）。在这个假设条件下，在白色光照下，图像的各颜色通道的统计均值是无色差的，即各个通道的均值一样大，如果图像的不同通道之间的统计均值存在差异，那么这个差异一定是环境光造成的。基于这个假设，便有了灰世界方法。灰世界方法计算简单，但是效果不理想。

灰边缘假设认为：场景中所有物理表面的反射的差分的均值是无色差的（灰色的）。灰边缘方法即是基于这一假设，首先计算各通道图像的一阶或二阶梯度的模的均值，然后利用各通道均值的差异来估计图像光照，在其计算过程中利用不同σ的高斯核对图像进行模糊来计算图像不同尺度的信息，闵可夫斯基范式（Minkowski-norm）也被引入从而得到了一般意义的灰边缘方法：

${(\∫|{\frac{{\∂}^n{f}_c^{\mathrm{\σ}}\left(x\right)}{{\∂x}^n}|}^p\mathrm{dx})}^{1/p}={\mathrm{ke}}_c^{n,p,\mathrm{\σ}},c\∈\{r,g,b\}$

其中，f_c(x)为彩色图像f(x)的c通道图像，x为图像二维坐标，

表示经过高斯卷积后的图像，n=0，1，2表示图像梯度的阶数，p为闵可夫斯基范式（Minkowski-norm），

则是所估计的光照，k为归一化常数使得||e||=1。可以看出，该公式把传统的灰世界方法、最大值法、Shade of Grey算法和灰边缘方法都统一在了一个框架里面。

灰边缘方法有几个局限性。第一，虽然灰边缘方法只需要简单几行程序代码即可实现，但是其计算过程中涉及到高斯核卷积过程，严重影响了算法的计算速度，如实验发现对于二阶灰边缘方法，4<σ<7效果较好，假设σ=4，则卷积核的大小为25*25，即使把x方向和y方向的卷积分解进行，也需要进行2次1*25大小的卷积，这个计算量相当于做50次灰世界算法的计算量。第二，该方法涉及到的σ和p参数的取值，如果取值不恰当，难以获得较好效果，尤其是在对输入图像没有先验信息的时候。第三，该方法图像梯度的计算复杂，计算量大，如一阶梯度的计算公式为 $\frac{{\&PartialD;}^{1}f\left(x\right)}{{\&PartialD;x}^1}=\sqrt{{\left(\frac{{\&PartialD;}^{1+0}f\left(x\right)}{{\&PartialD;x}^1{y}^0}\right)}^2+{\left(\frac{{\&PartialD;}^{0+1}f\left(x\right)}{{\&PartialD;x}^0{y}^1}\right)}^2},$ 需要先计算一次x方向一阶梯度，再计算一次y方向一阶梯度，还涉及到平方和平方根运算，二阶梯度的计算则更为复杂。灰边缘方法原理简单，且效果有很大的提高，但是其计算过程涉及到高斯卷积，时间复杂度高，卷积核大小的选择也缺乏具体指导。

总之，灰世界算法具有在多数场景准确度高，但是其在部分场景（如大面积单色物体）表现很不稳定；灰边缘算法具有鲁棒性高，但是其准确度不高。

发明内容

本发明为了解决现有的灰世界算法和灰边缘算法存在的上述问题，提供了一种基于灰边缘约束灰世界的白平衡校正的图像处理方法。

本发明是采用如下技术方案实现的：

一种基于灰边缘约束灰世界的白平衡校正图像处理方法，包括如下步骤：

（Ⅰ）、由图像传感器采集图像后，将光信号转换为电信号，以Bayer图像模式传送给Bayer图像处理单元，输出Bayer图像；

（Ⅱ）、步骤（Ⅰ）输出的Bayer图像一方面输入到灰边缘统计模块和白平衡系数计算模块，进行灰边缘算法，得到灰边缘白平衡系数GEgainR和GEgainB；

（Ⅲ）、步骤（Ⅰ）输出的Bayer图像另一方面根据步骤（Ⅱ）得到的灰边缘白平衡系数经过白平衡校正模块进行白平衡校正处理，再经过去马赛克模块进行去马赛克处理；

（Ⅳ）、步骤（Ⅲ）输出的图像依次经过灰世界统计模块和白平衡系数计算模块，进行灰世界算法，得到灰世界白平衡系数GSgainR和GSgainB；

（Ⅴ）、利用步骤（Ⅱ）得到的灰边缘白平衡系数约束步骤（Ⅳ）得到的灰世界白平衡系数，经白平衡系数计算模块得出最后用于图像校正的白平衡系数：具体如下：

设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值可由本领域技术人员调试确定），首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g通道的白平衡系数一直设置为1；

（Ⅵ）、依据步骤（Ⅴ）得到的白平衡系数，返回至步骤（Ⅲ）再次对Bayer图像依次进行白平衡校正处理、去马赛克处理；然后，进行彩色图像处理后，进入压缩/显示/存储等设备，完成对图像的处理。

基于上述方法，本发明所述方法的核心在于，首先用灰边缘算法求解得到灰边缘约束，将解的空间限制在灰边缘所约束的范围内，保证算法的基本鲁棒性；再利用灰世界算法在有限的解空间内求出精确解。其中，灰边缘算法和灰世界算法均可以采用现有技术中的常规算法进行。

优选地，步骤（Ⅱ）中的灰边缘算法采用两种更加实用的算法，分别为基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e，然后根据Bayer图像光照估计值e，得到灰边缘白平衡系数GEgainR和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有像素求平均得到一个像素值

从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到Bayer图像光照估计值e；

$\&Integral;(\mathrm{Lap}\&CircleTimes;f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\&Element;\{r,g,b\},---\left(1\right)$

其中，

表示c通道图像经过s*s块平均操作后的小图像；Lap为一种离散拉普拉斯算子： $\mathrm{Lap}=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right];$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\&prime;},n)=\underset{m=(N-1)m^{\&prime;}}{\overset{{\mathrm{Nm}}^{\&prime;}-1}{\mathrm{\&Sigma;}}}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1-1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范式；

可以得出场景的光照估计为：

$\&Integral;f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中， $f_T^N\left(x\right)=|f^N\&CircleTimes;T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照下 $e^{\&prime;}={[{e^{\&prime;}}_r,{e^{\&prime;}}_g,{e^{\&prime;}}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$ 的输出图像f′(x)：

${f^{\&prime;}}_c\left(x\right)=\frac{{e^{\&prime;}}_c}{e_c}{f}_c\left(x\right),c\&Element;\{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于同理可得GEgainB等于

即得到灰边缘约束。

优选地，步骤（Ⅳ）中灰世界算法采用如下方法：

首先计算出步骤（Ⅲ）的输出图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；所述Gsmin、Gsmax和GSration由本领域技术人员调试确定；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰世界白平衡系数GSgainR和GSgainB。

基于上述过程，如图2所示：

（1）用灰边缘算法求解得到灰边缘约束：首先用灰边缘算法对图像进行校正，得到灰边缘白平衡系数。本发明提出了两种更实用的灰边缘算法，第一种算法是基于图像块梯度的灰边缘算法，通过将图像均匀分块，每块内部所有像素求平均得到一个像素值，从而得到一幅小图像；然后，采用离散拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到图像光照的估计值。第二种是基于图像横向均值平滑降采样和横向一阶差分的简化算法，采用横向均值平滑降采样的滤波方法实现高斯平滑，然后通过横向一阶差分的梯度求取实现求高阶导数，从而就可得出图像光照的估计值。得到图像光照估计值后就可对图像进行白平衡校正处理，同时也可得出灰边缘约束，即灰边缘白平衡系数。

（2）用灰世界算法在灰边缘所约束的范围内求出精确解：基于灰边缘白平衡校正后的图像，再用灰世界方法计算出灰世界白平衡系数，最后结合灰边缘白平衡系数与灰世界白平衡系数得出最后用于图像校正的白平衡系数。如果灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界白平衡系数；如果远离，则采用灰边缘白平衡系数；其他情况介于临界区，则采用二者的加权平均白平衡系数。

本发明方法优点如下：

（1）计算量小。对于灰边缘统计模块与灰世界统计模块，需要统计整幅图像，但是只需要一些简单的判断和计算，因此耗资源较少；对于白平衡系数计算模块，虽然要进行一些逻辑相对复杂的计算，但是其数据量小，因此耗资源也少。

（2）白平衡校正的精度较高。

另外，一种基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：包括：

图像传感器，所述图像传感器以Bayer图像模式输出图像到Bayer图像处理单元；所述Bayer图像处理单元输出Bayer图像；

所述输出的Bayer图像一方面依次经过灰边缘统计模块和白平衡系数计算模块进行灰边缘算法后，得到灰边缘白平衡系数GEgainR和GEgainB，输出到白平衡校正模块；

所述输出的Bayer图像另一方面依据所述得到的灰边缘白平衡系数经过所述白平衡校正模块进行白平衡校正处理，输出到去马赛克模块；所述去马赛克模块进行去马赛克处理，输出去马赛克图像；

所述输出的去马赛克图像一方面依次经过灰世界统计模块和白平衡系数计算模块进行灰世界算法后，得到灰世界白平衡系数GSgainR和GSgainB，输出到白平衡系数计算模块；

所述白平衡系数计算模块利用得到的灰边缘白平衡系数约束得到的灰世界白平衡系数，得出最后用于图像校正的白平衡系数后输出到白平衡校正模块；具体如下：设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值可由本领域技术人员调试确定），首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g通道的白平衡系数一直设置为1；

所述白平衡校正模块依据最后用于图像校正的白平衡系数，再次对Bayer图像进行白平衡校正处理后输出到去马赛克模块；所述输出的去马赛克模块另一方面输出图像到彩色图像处理单元；所述彩色图像处理单元处理图像后输出图像到压缩/显示/存储等设备。

优选地，灰边缘统计模块和白平衡系数计算模块进行的灰边缘算法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e，然后根据Bayer图像光照估计值e得到灰边缘白平衡系数GEgainR和GEgainB，即得到灰边缘约束。

优选地，灰世界统计模块和白平衡系数计算模块进行的灰世界算法采用如下方法：

首先计算出去马赛克图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；所述Gsmin、Gsmax和GSration由本领域技术人员调试确定；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰世界白平衡系数GSgainR和GSgainB。

工作时，如图1所示，图像传感器采集图像后，将光信号转换为电信号，以Bayer图像模式传送给Bayer图像处理单元，输出Bayer图像；实现上述方法的步骤（Ⅰ）。

输出的Bayer图像一路经灰边缘统计模块和白平衡系数计算模块后通过灰边缘算法后得到灰边缘白平衡系数（实现上述方法的步骤（Ⅱ）），并将灰边缘白平衡系数一路输出到白平衡校正模块、另一路输出到白平衡系数计算模块；输出的Bayer图像另一路经白平衡校正模块，依据输入的灰边缘白平衡系数进行灰边缘白平衡校正处理后输出图像到去马赛克模块，通过彩色图像插值算法将Bayer图像转换成RGB；实现上述方法的步骤（Ⅲ）。

由去马赛克模块的输出图像一路经灰世界统计模块和白平衡系数计算模块通过灰世界算法后得出灰世界白平衡系数（实现上述方法的步骤（Ⅳ）），并将灰世界白平衡系数输出到白平衡系数计算模块；由去马赛克模块的输出图像另一路依次输出到彩色图像处理单元及压缩/显示/存储设备。

白平衡系数计算模块首先利用由灰边缘统计模块输入的灰边缘白平衡系数作为灰边缘约束，将由灰世界统计模块输入的灰世界白平衡系数的解的空间限制在灰边缘所约束的范围内，然后在有限的解空间内求出精确解，即得出最后用于图像校正的白平衡系数；将最后用于图像校正的白平衡系数输出到白平衡校正模块；实现上述方法的步骤（Ⅴ）。

最后，由上述方法中步骤（Ⅰ）输出的Bayer图像最终依据最后用于图像校正的白平衡系数经过白平衡校正模块、去马赛克模块、彩色图像处理单元及压缩/显示/存储设备，实现上述方法的步骤（Ⅵ）。

本发明设计合理，解决了现有灰世界算法具有在多数场景准确度高，但是其在部分场景（如大面积单色物体）表现很不稳定和灰边缘算法具有鲁棒性高，但是其准确度不高的问题。

附图说明

图1是本发明所述装置的成像系统框图。

图2是本发明所述方法的主要步骤执行流程图。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

实施例1

一种基于灰边缘约束灰世界的白平衡校正图像处理方法，包括如下步骤：

（Ⅰ）、由图像传感器采集图像后，将光信号转换为电信号，以Bayer图像模式传送给Bayer图像处理单元，其主要包含了黑水平、去坏点与去噪等处理，输出Bayer图像。

（Ⅱ）、步骤（Ⅰ）输出的Bayer图像一方面输入到灰边缘统计模块和白平衡系数计算模块，进行灰边缘算法，得到灰边缘白平衡系数GEgainR和GEgainB；

首先，通过基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e；具体如下：

基于图像块梯度的灰边缘算法：

首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有像素求平均得到一个像素值

从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散拉普拉斯算子（Discrete Laplaceoperator）计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到Bayer图像光照估计值e；

$\&Integral;(\mathrm{Lap}\&CircleTimes;f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\&Element;\{r,g,b\},---\left(1\right)$

其中，

表示c通道图像经过s*s块平均操作后的小图像；Lap为一种离散拉普拉斯算子（Discrete Laplace operator）： $\mathrm{Lap}=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right];$

上述梯度的计算基于图像块平均的结果，这隐藏着一个假设：场景中所有物理表面的相邻块的平均反射的差分的均值是无色差的（灰色的）；另外，图像的块平均操作也具有几个直观的意义：第一，对图像做块平均是对图像的平滑去噪，而图像的平滑去噪已经被证实是能够提高白平衡算法的鲁棒性的一个重要预处理过程，如通用灰世界方法和灰边缘方法都采用了高斯卷积来对图像进行平滑；第二，对图像做块平均之后，图像大小仅为原有的1/(s*s)，使得后续图像处理的计算量骤减。

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：

此算法根据灰边缘假设的本质，针对灰边缘算法中的两个重要步骤：高斯平滑与求高阶导数，提出了基于图像横向均值平滑降采样和横向一阶差分的简化算法。对于高斯平滑而言，其本质是做高频滤波，其他的高频滤波方法完全可以取代它。显然，最简单的滤波方法是均值滤波。考虑到图像传感器图像数据逐行传输的特点，如果做横向、纵向双向均值滤波，则必须缓存多行图像。为了满足实时性要求，本方法只采用横向均值滤波。但是，由于不采用纵向滤波，滤波效果将下降。为了进一步滤除高频信息，考虑到图像降采样也是一种去高频方法，所以采用横向均值平滑降采样的滤波方法。

一般情况下，均值平滑后的图像需要除以相同的平滑模板大小N，将像素值归一化到0～255的范围（像素深度为8位时）。但是，白平衡算法只需要得到最后光照颜色估计，并不需要得到完整的归一化平滑图像，因此为了简化算法，可以省去该除法操作。

设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\&prime;},n)=\underset{m=(N-1)m^{\&prime;}}{\overset{{\mathrm{Nm}}^{\&prime;}-1}{\mathrm{\&Sigma;}}}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

对于求梯度导数，它需要在横向纵向，甚至斜向求差分。同样地，为了不缓存图像行，而又达到求图像梯度的效果，采取横向一阶差分的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，为了进一步减少计算复杂度，从而减少乘法与开方操作，所以将p值取1，即不引入闵科夫斯基范式；

估计光照颜色时，一般需要求差分图像的颜色均值。此时RGB三个通道都需要除以相同的图像像素数∫dx。事实上，如果不做除法，仅仅是光照颜色的α,β,γ（令光照颜色e=(α,β,γ)）值会被成比例线性放大，但它们之间的比例关系不会发生变化。同样为了简化算法，可以省去光照估计时的除法。最后，可以得出场景的光照估计为：

$\&Integral;f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中， $f_T^N\left(x\right)=|f^N\&CircleTimes;T|,$

从而得到Bayer图像光照估计值e。

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照下 $e^{\&prime;}={[{e^{\&prime;}}_r,{e^{\&prime;}}_g,{e^{\&prime;}}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$ 的输出图像f′(x)：

${f^{\&prime;}}_c\left(x\right)=\frac{{e^{\&prime;}}_c}{e_c}{f}_c\left(x\right),c\&Element;\{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于

同理可得GEgainB等于

即得到灰边缘约束。

（Ⅲ）、步骤（I）输出的Bayer图像另一方面根据步骤（Ⅱ）得到的灰边缘白平衡系数经过白平衡校正模块进行白平衡校正处理，再经过去马赛克模块进行去马赛克处理，通过彩色图像插值算法将Bayer图像转换成RGB。

（Ⅳ）、步骤（Ⅲ）输出的图像依次经过灰世界统计模块和白平衡系数计算模块，进行灰世界算法，得到灰世界白平衡系数GSgainR和GSgainB；

具体如下：

首先计算出输出图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；所述Gsmin、Gsmax和GSration由本领域技术人员调试确定，一般可取经验值：Gsmin=10，Gsmax=250，GSration=0.1。

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，GSgainR，GSgainB是灰世界白平衡系数。

（Ⅴ）、利用步骤（Ⅱ）得到的灰边缘白平衡系数约束步骤（Ⅳ）得到的灰世界白平衡系数，经白平衡系数计算模块得出最后用于图像校正的白平衡系数：

具体如下：

设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值由本领域技术人员调试确定，一般可取经验值：limit1=0.1，limit2=0.3），首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new，gainB_new是最终用于校正的r，b通道白平衡系数，g通道的白平衡系数一直设置为1。

（Ⅵ）、依据步骤（Ⅴ）得到的白平衡系数，返回至步骤（Ⅲ）再次对Bayer图像依次进行白平衡校正处理、去马赛克处理；然后，进行彩色图像处理（主要包括了颜色校正、γ矫正、彩色空间转换、HDR、边界增强等处理）后，进入压缩/显示/存储等设备（用于图像显示或图像存储），完成对图像的处理。

具体实施时，如图1所示，步骤（Ⅰ）通过图像传感器和Bayer图像处理单元实现；步骤（Ⅱ）通过灰边缘统计模块、白平衡系数计算模块实现；步骤（Ⅲ）通过白平衡校正模块和去马赛克模块实现；步骤（Ⅳ）通过灰世界统计模块、白平衡系数计算模块实现；步骤（Ⅴ）通过白平衡系数计算模块实现；步骤（Ⅵ）通过白平衡校正模块、去马赛克模块、彩色图像处理单元及压缩/显示/存储设备实现。

实施例2

如图1所示，一种基于灰边缘约束灰世界的白平衡校正图像处理装置，包括：

图像传感器，所述图像传感器以Bayer图像模式输出图像到Bayer图像处理单元；所述Bayer图像处理单元输出Bayer图像；

所述输出的Bayer图像一方面依次经过灰边缘统计模块和白平衡系数计算模块进行灰边缘算法后，得到灰边缘白平衡系数GEgainR和GEgainB，输出到白平衡校正模块；

所述输出的Bayer图像另一方面依据所述得到的灰边缘白平衡系数经过所述白平衡校正模块进行白平衡校正处理，输出到去马赛克模块；所述去马赛克模块进行去马赛克处理，输出去马赛克图像；

所述输出的去马赛克图像一方面依次经过灰世界统计模块和白平衡系数计算模块进行灰世界算法后，得到灰世界白平衡系数GSgainR和GSgainB，输出到白平衡系数计算模块；

所述白平衡系数计算模块利用得到的灰边缘白平衡系数约束得到的灰世界白平衡系数，得出最后用于图像校正的白平衡系数后输出到白平衡校正模块；具体如下：设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值由本领域技术人员调试确定，一般可取经验值：limit1=0.1，limit2=0.3），首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，

gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g通道的白平衡系数一直设置为1；

所述白平衡校正模块依据最后用于图像校正的白平衡系数，再次对Bayer图像进行白平衡校正处理后输出到去马赛克模块；所述输出的去马赛克模块另一方面输出图像到彩色图像处理单元；所述彩色图像处理单元处理图像后输出图像到压缩/显示/存储等设备。

具体实施时，灰边缘统计模块和白平衡系数计算模块进行的灰边缘算法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e，然后根据Bayer图像光照估计值e得到灰边缘白平衡系数GEgainR和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有像素求平均得到一个像素值

从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到Bayer图像光照估计值e；

$\&Integral;(\mathrm{Lap}\&CircleTimes;f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\&Element;\{r,g,b\},---\left(1\right)$

其中，

表示c通道图像经过s*s块平均操作后的小图像；Lap为一种离散拉普拉斯算子： $\mathrm{Lap}=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right];$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\&prime;},n)=\underset{m=(N-1)m^{\&prime;}}{\overset{{\mathrm{Nm}}^{\&prime;}-1}{\mathrm{\&Sigma;}}}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范式；

可以得出场景的光照估计为：

$\&Integral;f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中， $f_T^N\left(x\right)=|f^N\&CircleTimes;T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照下 $e^{\&prime;}=[{{e^{\&prime;}}_r,{e^{\&prime;}}_g,{e^{\&prime;}}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$ 的输出图像f′(x)：

${f^{\&prime;}}_c\left(x\right)=\frac{{e^{\&prime;}}_c}{e_c}{f}_c\left(x\right),c\&Element;\{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于同理可得GEgainB等于

即得到灰边缘约束。

具体实施时，灰世界统计模块和白平衡系数计算模块进行的灰世界算法采用如下方法：

首先计算出去马赛克图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；所述Gsmin、Gsmax和GSration由本领域技术人员调试确定，一般可取经验值：Gsmin=10，Gsmax=250，GSration=0.1。

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰世界白平衡系数GSgainR和GSgainB。

具体实施时，所述去马赛克模块通过彩色图像插值算法将Bayer图像转换成RGB后输出去马赛克图像。

Claims (10)

1.一种基于灰边缘约束灰世界的白平衡校正图像处理方法，其特征在于：包括如下步骤：

（Ⅰ）、由图像传感器采集图像后，将光信号转换为电信号，以Bayer图像模式传送给Bayer图像处理单元，输出Bayer图像；

（Ⅱ）、步骤（I）输出的Bayer图像一方面输入到灰边缘统计模块和白平衡系数计算模块，进行灰边缘算法，得到灰边缘白平衡系数GEgainR和GEgainB；

（Ⅲ）、步骤（I）输出的Bayer图像另一方面根据步骤（Ⅱ）得到的灰边缘白平衡系数经过白平衡校正模块进行白平衡校正处理，再经过去马赛克模块进行去马赛克处理；

（Ⅳ）、步骤（Ⅲ）输出的图像依次经过灰世界统计模块和白平衡系数计算模块，进行灰世界算法，得到灰世界白平衡系数GSgainR和GSgainB；

（Ⅴ）、利用步骤（Ⅱ）得到的灰边缘白平衡系数约束步骤（Ⅳ）得到的灰世界白平衡系数，经白平衡系数计算模块得出最后用于图像校正的白平衡系数：具体如下：

设定limit1、limit2两个白平衡阈值参数，首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g通道的白平衡系数一直设置为1；

（Ⅵ）、依据步骤（Ⅴ）得到的白平衡系数，返回至步骤（Ⅲ）再次对Bayer图像依次进行白平衡校正处理、去马赛克处理；然后，进行彩色图像处理后，进入压缩/显示/存储设备，完成对图像的处理。

2.根据权利要求1所述的基于灰边缘约束灰世界的白平衡校正图像处理方法，其特征在于：步骤（Ⅱ）中的灰边缘算法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e，然后根据Bayer图像光照估计值e，得到灰边缘白平衡系数GEgainR和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有像素求平均得到一个像素值

从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到Bayer图像光照估计值e；

$\&Integral;(\mathrm{Lap}\&CircleTimes;f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\&Element;\{r,g,b\},---\left(1\right)$

其中，

表示c通道图像经过s*s块平均操作后的小图像；Lap为一种离散拉普拉斯算子： $\mathrm{Lap}=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right];$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\&prime;},n)=\underset{m=(N-1)m^{\&prime;}}{\overset{{\mathrm{Nm}}^{\&prime;}-1}{\mathrm{\&Sigma;}}}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范式；

可以得出场景的光照估计为：

$\&Integral;f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中， $f_T^N\left(x\right)=|f^N\&CircleTimes;T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照下 $e^{\&prime;}={[{e^{\&prime;}}_r,{e^{\&prime;}}_g,{e^{\&prime;}}_b]}^T=[{\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$ 的输出图像f′(x)：

${f^{\&prime;}}_c\left(x\right)=\frac{{e^{\&prime;}}_c}{e_c}{f}_c\left(x\right),c\&Element;\{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于

同理可得GEgainB等于

即得到灰边缘约束。

3.根据权利要求1或2所述的基于灰边缘约束灰世界的白平衡校正图像处理方法，其特征在于：步骤（Ⅳ）中灰世界算法采用如下方法：

首先计算出步骤（Ⅲ）的输出图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰世界白平衡系数GSgainR和GSgainB。

4.根据权利要求1或2所述的基于灰边缘约束灰世界的白平衡校正图像处理方法，其特征在于：步骤（Ⅲ）中去马赛克模块通过彩色图像插值算法将Bayer图像转换成RGB。

5.根据权利要求3所述的基于灰边缘约束灰世界的白平衡校正图像处理方法，其特征在于：步骤（Ⅲ）中去马赛克模块通过彩色图像插值算法将Bayer图像转换成RGB。

6.一种基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：包括：

图像传感器，所述图像传感器以Bayer图像模式输出图像到Bayer图像处理单元；所述Bayer图像处理单元输出Bayer图像；

所述输出的Bayer图像一方面依次经过灰边缘统计模块和白平衡系数计算模块进行灰边缘算法后，得到灰边缘白平衡系数GEgainR和GEgainB，输出到白平衡校正模块；

所述输出的Bayer图像另一方面依据所述得到的灰边缘白平衡系数经过所述白平衡校正模块进行白平衡校正处理，输出到去马赛克模块；所述去马赛克模块进行去马赛克处理，输出去马赛克图像；

所述输出的去马赛克图像依次经过灰世界统计模块和白平衡系数计算模块进行灰世界算法后，得到灰世界白平衡系数GSgainR和GSgainB，输出到白平衡系数计算模块；

所述白平衡系数计算模块利用得到的灰边缘白平衡系数约束得到的灰世界白平衡系数，得出最后用于图像校正的白平衡系数后输出到白平衡校正模块；具体如下：设定limit1、limit2两个白平衡阈值参数，首先计算出GEgainR与GSgainR的差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g通道的白平衡系数一直设置为1；

所述白平衡校正模块依据最后用于图像校正的白平衡系数，再次对Bayer图像进行白平衡校正处理后输出到去马赛克模块；所述输出的去马赛克模块另一方面输出图像到彩色图像处理单元；所述彩色图像处理单元处理图像后输出图像到压缩/显示/存储设备。

7.根据权利要求6所述的基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：灰边缘统计模块和白平衡系数计算模块进行的灰边缘算法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e，然后根据Bayer图像光照估计值e得到灰边缘白平衡系数GEgainR和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有像素求平均得到一个像素值

从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从而得到Bayer图像光照估计值e；

$\&Integral;(\mathrm{Lap}\&CircleTimes;f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\&Element;\{r,g,b\},---\left(1\right)$

其中，

表示c通道图像经过s*s块平均操作后的小图像；Lap为一种离散拉普拉斯算子： $\mathrm{Lab}=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right];$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\&prime;},n)=\underset{m=(N-1)m^{\&prime;}}{\overset{{\mathrm{Nm}}^{\&prime;}-1}{\mathrm{\&Sigma;}}}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范式；

可以得出场景的光照估计为：

$\&Integral;f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中， $f_T^N\left(x\right)=|f^N\&CircleTimes;T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照下 $e^{\&prime;}=[{{e^{\&prime;}}_r,{e^{\&prime;}}_g,{e^{\&prime;}}_b]}^T=[{\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$ 的输出图像f′(x)：

${f^{\&prime;}}_c\left(x\right)=\frac{{e^{\&prime;}}_c}{e_c}{f}_c\left(x\right),c\&Element;\{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于

同理可得GEgainB等于

即得到灰边缘约束。

8.根据权利要求6或7所述的基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：灰世界统计模块和白平衡系数计算模块进行的灰世界算法采用如下方法：

首先计算出去马赛克图像的每一帧白点个数，以及每一帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰世界白平衡系数GSgainR和GSgainB。

9.根据权利要求6或7所述的基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：所述去马赛克模块通过彩色图像插值算法将Bayer图像转换成RGB后输出去马赛克图像。

10.根据权利要求8所述的基于灰边缘约束灰世界的白平衡校正图像处理装置，其特征在于：所述去马赛克模块通过彩色图像插值算法将Bayer图像转换成RGB后输出去马赛克图像。

Images