CN102209246A - 一种实时视频白平衡处理系统 - Google Patents

Abstract

一种实时视频白平衡处理系统属于图像处理技术领域，其特征在于，设有：数据读取单元，从视频中读取待处理图像；判断单元，判断当前帧是否为关键帧；白色响应估计单元，估计关键帧中不同颜色分量的白色响应值，将不大于白色响应值的像素标记为有效像素；光照值估计单元，根据有效像素计算当前关键帧的光照值或采用白色响应值为光照值；光照值更新单元，计算当前帧及前K-1个关键帧的平均光照值对当前帧的光照值进行更新；校正单元，用对角变换，根据当前帧的光照值对得到的白平衡图像进行颜色校正。本发明将高光作为图像的重要特征，解决了高光造成的图像光照估计偏差较大的问题，以及采用滑动平均法，解决了视频画面闪烁、亮度跳跃的问题。

Description

一种实时视频白平衡处理系统

技术领域

本发明涉及图像处理领域，更具体地说，涉及一种实时视频白平衡处理系统。

背景技术

在外界光照条件发生变化的时候，成像系统不能对不同的光照条件做出相应的光谱响应，因而使采集的图像颜色偏向光源的颜色，也就是说，整幅图像的颜色范围发生偏移。白平衡是对不同颜色的光照造成的图像偏色进行校正，去除光照的影响，获取物体的真实颜色。从数学角度来讲，白平衡是一个欠定问题。所有的方法均建立在约束表面反射或光照颜色统计特性的假设条件之上。白平衡方法又可大致分为两类。一类是基于图像低阶特征的直接方法；另一类是基于特定数据库学习的方法。

基于低阶特征的方法可直接用于图像的白平衡校正，主要包括GW(Gray-World)算法、WP(White-Point)算法、灰色调(Shades-of-Gray)算法和GE(Gray-Edge)算法。GW算法、WP算法和灰色调算法是基于灰度像素(Gray pixel)假设的算法。GW算法的假设条件是R、G、B颜色分量的平均值相等，WP算法的假设条件是R、G、B颜色分量的最大值相等。灰色调算法的假设条件是R、G、B颜色分量的p阶闵可夫斯基范数相等，而WP算法和GW算法是该算法的两个不同特例。GE算法是基于灰度边缘(Gray edge)的假设，该算法的假设条件是R、G、B颜色分量导数的p阶闵可夫斯基范数相等。

基于学习的方法在特定数据库的训练阶段，学习表面反射或光照颜色分布的相关先验知识；利用学习过程中获取的先验知识来估计光照的颜色。基于学习的方法包括色域映射(Gamut mapping)方法、概率统计方法和机器学习方法。色域映射方法开始于Forsyth在三维RGB空间的研究工作，此后，提出了色域约束照度估计算法、基于偏导数色域映射算法等。该类算法搜索输入图像的色域和正则色域的映射关系，来估计光照颜色。概率统计方法中有基于贝叶斯的算法、颜色相关(Color by correlation)算法等，而机器学习方法中有基于神经网络的算法、支撑向量机(Support vector machine，SVM)算法、遗传算法等。基于学习的白平衡算法需要利用大量的特定图像，限定了处理方法的应用场景，并且会在一定程度上增加整个处理过程的复杂度。

发明内容

有鉴于此，本发明提供一种实时视频白平衡处理系统，以解决现有技术的算法存在的对高光敏感、光照估计不准确的问题。其具体方案为：

一种实时视频白平衡处理系统，其特征在于，是在一个数字集成电路芯片中实现的，设有：数据读取单元U1、判断单元U2、白色响应估计单元U3、光照估计单元U4、光照值更新单元U5、校正单元U6，其中：

数据读取单元U1，从实时传输的视频中读取一帧作为待处理图像I(x)＝(I_R(x)，I_G(x)，I_B(x))^T，由R、G、B三个颜色分量组成，所述待处理图像I(x)的高为N_h个像素，宽为N_w个像素，x表示二维空间的坐标，可用向量(m，n)表示，0≤m≤N_h-1，0≤n≤N_w-1，m、n、N_h、N_w均为非负整数，形成一个视频帧；

判断单元U2，依次按以下步骤确定并处理所述视频帧：

第一步，将视频序号为10的整数倍的视频帧定义为关键帧，

第二步，判断并处理所述视频帧，若为关键帧，则输入到所述白色响应估计单元U3；若为非关键帧，则输入到所述校正单元U4；

白色响应估计单元U3，估计所述关键帧中不同颜色分量中的白色物体对成像传感器激励的响应值，所述白色响应估计单元依次由直方图计算子单元U31、局部极大点查找子单元U32、差值计算子单元U33、差值判断子单元U34以及白色响应值获取子单元U35依次串接构成，其中：

直方图计算子单元U31，统计所述不同颜色分量中各灰度值的像素出现的概率，构成一个概率直方图，并进行平滑滤波，以8位表示的灰度值范围为[0，255]，等价于以双精度表示的亮度值范围为[0，1]，高光的亮度值范围在[0.9，1]内，

局部极大点查找子单元U32，分别查找所述不同颜色分量的概率直方图中概率值局部极大点，步骤如下：

在所述亮度值范围内查找所述概率值局部极大点，若存在，则将最亮的局部极大点作为初始点，若不存在，则选取所述亮度值范围[0.9，1]的下限值0.9作为初始点，

差值计算子单元U33，输入来自所述局部极大点查找子单元U32的标有所述初始点的概率直方图，从所述初始点开始，向灰度值递减的方向扫描每个灰度值l，并计算相邻两个灰度值所对应的概率值之差p_c(l-1)-p_c(l)，p_c表示概率值，

差值判断子单元U34，用于判断相邻两个灰度值对应的概率值之差，步骤如下：

按下式判断p_c(l-1)-p_c(l)＞∈，∈为预设的阈值，取∈＝κ×10^-4，κ为[0，1]范围内的常数，若p_c(l-1)-p_c(l)＞∈成立，则将当前灰度值p_c(l)发送至所述白色响应值获取子单元U35，若p_c(l-1)-p_c(l)＞∈不成立，则返回差值计算子单元U33，

白色响应值获取子单元U35，将从所述差值判断子单元U34输入的所述当前灰度值作为所对应的R、G、B三个颜色分量中估计的白色响应值W_c，c＝{R，G，B}，将不大于所述白色响应值的像素集合称为像素有效集A＝{x|f_c(x)≤W_c，c＝{R，G，B}}，其中的像素称为有效像素，对应的像素值称为有效像素值；

光照估计单元U4，包括：参数调节子单元U41、光照值判断子单元U42、第一和值计算子单元U43、第二和值计算子单元U44、比值计算子单元U45和光照值获取子单元U46，其中：

参数调节子单元U41，所述参数指改进的灰色调算法中的闵可夫斯基范数L_c(p)的阶数p，通过参数值调节旋钮改变p值，

参数判断子单元U42，判断从所述参数调节子单元U41输入的闵可夫斯基范数L_c(p)的阶数p是否大于设定的阈值10：

若p＞10，则采用所述白色响应估计值获取子单元U35得到的所述白色响应估计值W_c，c∈{R，G，B}作为所述当前帧的光照值，

若p≤10，则将不同颜色分量的所述像素有效集A中的各有效像素值分别送入所述第一和值计算子单元U43和第二和值计算子单元U44，

第一和值计算子单元U43，将所述参数判断子单元U42在p≤10条件下送来的各有效像素值自乘p次方后再求和，将计算结果输入所述比值计算子单元U45，

第二和值计算子单元U44，将所述参数判断子单元U42在p≤10条件下送来的各有效像素值求和，把计算结果输入所述比值计算子单元U45，

比值计算子单元U45，计算所述第一和值和第二和值的比值的p次根，作为所述当前帧的光照值：

$L_c^A\left(p\right)={\left(\frac{{\∫}_{x\∈A}{f}_c^p\left(x\right)\mathrm{dx}}{{\∫}_{x\∈A}\mathrm{dx}}\right)}^{\frac{1}{p}}={\mathrm{ke}}_c$

其中，c＝{R，G，B}，

光照值获取子单元U46，从所述白色响应值获取子单元U35或所述比值计算子单元U45获取所述不同颜色分量的当前帧的光照值；

光照值更新单元U5，输入所述当前帧及前面K-1个帧的光照值，按下述滑动平均算式计算平均光照值

作为所述当前帧的光照更新值：

${\stackrel{\‾}{e}}_t=\frac{e_{t-K}+\·\·\·+e_{t-k}+\·\·\·+e_{t-1}+e_t}{K}$

其中，L^A(p)＝ke，e_t-k表示对当前帧e_t前第k帧图像估计的光照值，k＝1，2，...，K，K＝4；

校正单元U6，从所述光照值更新单元U5输入所述不同颜色分量的当前帧的经过滑动平均更新后的光照值

利用对应于不同颜色分量的三个不同的增益系数s_R、s_G、s_B，对所述待处理有效像素图像f_c(x)进行颜色校正，c＝{R，G，B}，得到白平衡图像，表示为f_c′(x)：

$\left(\begin{array}{c}{f_R}^{\′}\left(x\right)\\ {f_G}^{\′}\left(x\right)\\ {f_B}^{\′}\left(x\right)\end{array}\right)=\left(\begin{array}{ccc}{s}_R& 0& 0\\ 0& s_G& 0\\ 0& 0& s_B\end{array}\right)\left(\begin{array}{c}{f}_R\left(x\right)\\ f_G\left(x\right)\\ f_B\left(x\right)\end{array}\right)$

其中，s_G＝1、

经过对角变换后，W′_G＝W_G、W′_R＝s_RW_R、W′_B＝s_BW_B，

所述校正单元U6对所述输入的非关键帧，利用所述关键帧的光照更新值

作为当前帧的光照更新值通过所述三个增益系数s_R、s_G、s_B进行校正。

2、根据权利要求1所述的一种实时视频白平衡处理系统，其特征在于，在所述校正单元U6后加了后处理单元U7，所述后处理单元输入由所述校正单元U6输出的所述白平衡图像f′(x)＝(f_R′(x)，f_G′(x)，f_B′(x))^T，按以下步骤处理：

将所述白平衡图像f′(x)的灰度值从[0，M]线性拉伸到[0，1]范围内，用o(x)表示分段线性灰度级变换后的图像，从而实现亮度调整：

$o\left(x\right)=\min \{\frac{f^{\′}\left(x\right)}{M},1\}$

式中，

为线段[(0，0)，(M，1)]的斜率。

本发明将高光作为图像的重要特征用于光照估计；通过估计图像中的白色响应值，解决了由于场景光源或镜面反射造成的图像光照估计偏差较大，影响处理效果的问题，有效地提高了基于图像低阶统计特征的白平衡算法的性能；并且，通过采用滑动平均法更新当前帧的光照值，避免了视频画面闪烁、亮度跳跃的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的实时视频白平衡处理系统结构示意图；

图2为本发明公开的白色响应估计单元的结构示意图；

图3为本发明公开的光照估计单元的结构示意图；

图4为本发明实施例一公开的实时视频白平衡处理的流程图；

图5为R、G、B颜色分量的概率直方图，及峰值、白色响应值示意图：概率(Probability)，灰度级(Gray level)；

图6为概率直方图中拖尾像素的示意图；

图7为本发明实施例一公开的实时视频白平衡处理的具体流程图；

图8为本发明实施例二公开的实时视频白平衡处理的具体流程图；

图9为本发明在p＞10条件下对角变换的示意图；

图10为本发明在p≤10条件下对角变换的示意图；

图11为本发明在p＞10条件下分段线性灰度级变换的示意图；

图12为本发明在p≤10条件下分段线性灰度级变换的示意图；

图13为本发明在SFU图像库上对于各种输入参数处理后的中值角误差曲线图：○表示漫反射表面(Mondrian)，×表示有镜面反射表面(Specular)，表示有金属光泽表面(Metallic)，□表示有荧光表面(Fluorescent)，中值角误差(Median angular error)。

具体实施方式

一种实时视频白平衡处理系统，包括：

数据读取单元，用于读取视频中的一帧待处理图像；

判断单元，判断所述待处理图像是否为关键帧；若是，则执行白色响应估计单元，若否，则选取前一帧的光照更新值作为当前帧的光照更新值，执行校正单元；

白色响应估计单元，用于依据不同颜色分量的概率直方图中灰度值的概率分布，估计相应颜色分量中的白色响应值，将不大于所述白色响应值的像素标记为有效像素；

光照估计单元，用于按照输入的参数值，依据所述有效像素计算当前帧的光照值，或采用白色响应值作为当前帧的光照值；

光照值更新单元，用于利用滑动平均法，计算前K个所述关键帧的平均光照值，对所述当前关键帧的光照值进行更新，获得当前关键帧的光照更新值；

校正单元，用于利用对角变换，依据所述当前帧的光照更新值，对所述待处理图像进行颜色校正，获得白平衡图像；

优选的，还包括：后处理单元，用于利用分段线性灰度级变换，对所述白平衡图像进行亮度调整。

优选的，所述白色响应估计单元包括：

直方图计算子单元，用于统计不同颜色分量中各灰度值的像素出现的概率，并对概率直方图进行平滑滤波；

局部极大点查找子单元，用于分别查找不同颜色分量的概率直方图中的局部极大点，判断在亮度值范围内是否存在局部极大点，若是，则选取最亮的局部极大点为初始点，若否，则选取亮度值范围的下限为初始点；

差值计算子单元，用于分别对不同颜色分量的概率直方图，从所述初始点开始，按照灰度值递减的顺序，计算前一个灰度值与当前灰度值的概率差值；

差值判断子单元，用于判断所述差值是否大于第一阈值，若是，则执行白色响应值获取子单元，若否，则将前一个灰度值作为当前灰度值，返回执行差值计算子单元；

白色响应值获取子单元，用于将当前灰度值确定为相应颜色分量的白色响应值，并将不大于所述白色响应值的像素确定为有效像素。

优选的，所述光照估计单元包括：

参数调节子单元，用于调节参数p的值，通过参数值调节旋钮改变p值；

参数判断子单元，用于判断输入的参数p的值是否大于第二阈值，若是，则执行光照值获取子单元，若否，则依次执行第一和值计算子单元、第二和值计算子单元、比值计算子单元和光照值获取子单元；

第一和值计算子单元，用于分别计算不同颜色分量的各有效像素值的p次方，并求和，获得第一和值；

第二和值计算子单元，用于分别计算不同颜色分量的各有效像素值之和，获得第二和值；

比值计算子单元，用于分别计算不同颜色分量的第一和值与第二和值比值的p次根；

光照值获取子单元，采用白色响应值作为当前帧的光照值，或采用所述比值作为当前帧的光照值。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种实时视频白平衡处理系统，以解决现有技术的算法存在的对高光敏感、光照估计不准确的问题。其结构如图1所示，包括：数据读取单元U1、判断单元U2、白色响应估计单元U3、光照估计单元U4、参数调节单元U5、光照值更新单元U6、校正单元U7和后处理单元U8，其中：

数据读取单元U1，用于读取视频中的一帧待处理图像；判断单元U2，判断所述待处理图像是否为关键帧；若是，则执行白色响应估计单元U3，若否，则选取前一帧的光照更新值作为当前帧的光照更新值，执行校正单元U7；白色响应估计单元U3，用于依据不同颜色分量的概率直方图中灰度值的概率分布，估计相应颜色分量中的白色响应值，将不大于所述白色响应值的像素标记为有效像素；光照估计单元U4，用于按照输入的参数值，依据所述有效像素计算当前帧的光照值，或采用白色响应值作为当前帧的光照值；光照值更新单元U6，用于利用滑动平均法，计算前K个所述关键帧的平均光照值，对所述当前关键帧的光照值进行更新，获得当前关键帧的光照更新值；校正单元U7，用于利用对角变换，依据所述当前帧的光照更新值，对所述待处理图像进行颜色校正，获得白平衡图像；后处理单元U8，用于利用分段线性灰度级变换，对所述白平衡图像进行亮度调整。其详细内容可参见下面所对应的实施例。

所述白色响应估计单元U3结构如图2所示，包括：直方图计算子单元U31，用于统计不同颜色分量中各灰度值的像素出现的概率，并对概率直方图进行平滑滤波；局部极大点查找子单元U32，用于分别查找不同颜色分量的概率直方图中的局部极大点，判断在亮度值范围内是否存在局部极大点，若是，则选取最亮的局部极大点为初始点，若否，则选取亮度值范围的下限为初始点；差值计算子单元U33，用于分别对不同颜色分量的概率直方图，从所述初始点开始，按照灰度值递减的顺序，计算前一个灰度值与当前灰度值的概率差值；差值判断子单元U34，用于判断所述差值是否大于第一阈值，若是，则执行白色响应值获取子单元，若否，则将前一个灰度值作为当前灰度值，返回执行差值计算子单元；白色响应值获取子单元U35，用于将当前灰度值确定为相应颜色分量的白色响应值，并将不大于所述白色响应值的像素确定为有效像素。其详细内容可参见下面所对应的实施例。

所述光照估计单元U4结构如图3所示，包括：参数调节子单元U41，用于调节参数p的值，通过参数值调节旋钮改变p值；参数判断子单元U42，用于判断输入的参数p的值是否大于第二阈值，若是，则执行光照值获取子单元U46，若否，则依次执行第一和值计算子单元U43、第二和值计算子单元U44、比值计算子单元U45和光照值获取子单元U46；第一和值计算子单元U43，用于分别计算不同颜色分量的各有效像素值的p次方，并求和，获得第一和值；第二和值计算子单元U44，用于分别计算不同颜色分量的各有效像素值之和，获得第二和值；比值计算子单元U45，用于分别计算不同颜色分量的第一和值与第二和值比值的p次根；光照值获取子单元U46，采用白色响应值作为当前帧的光照值，或采用所述比值作为当前帧的光照值。其详细内容可参见下面所对应的实施例。

其具体实施方式如下所述：

实施例一

本实施例公开的实时视频白平衡处理的流程如图4所示，包括：

步骤S1、读取视频中的一帧待处理图像；

从视频中读取一帧待处理图像I(x)，由R、G、B三个颜色分量组成，其高为N_h个像素，宽为N_w个像素，x表示二维空间的坐标，可以用向量(m，n)表示，其中，0≤m≤N_h-1，0≤n≤N_w-1，m、n、N_h、N_w均为非负整数。

步骤S2、判断所述待处理图像是否为关键帧；若是，则执行以下步骤，若否，则选取前一帧的光照更新值作为当前帧的光照更新值，执行利用对角变换，依据所述当前帧的光照更新值，对所述待处理图像进行颜色校正的步骤；

对于视频而言，相邻两帧之间具有很高的相关性。在对视频进行处理时，应考虑视频特有的时间相关性。对每一帧均估计一次光照值e，增加了视频处理的时间开销，也没有必要如此做。将帧序为10的整数倍的视频帧定义为关键帧，这表明，每隔10帧计算估计一次光照值e，充分利用视频的时间相关性，加速视频处理，提高帧率。

步骤S3、依据概率直方图中灰度值的概率分布，估计白色响应值，并将不大于所述白色响应值的像素确定为有效像素；

场景中的白色物体对成像传感器激励的响应，称为白色响应值。在成像过程中，场景光源或镜面反射比白色物体有更强的响应，因而在采集的图像中形成的高光有更大的像素值。这样的影响导致白色响应值在很大程度上偏离了白色像素值，干扰了对光照的正确估计。通过观察有高光图像的直方图发现，由于场景光源或镜面反射在成像中有最大的响应值，对应部分的像素在直方图的最亮端产生一个峰。由于成像传感器是线性感光，与高光灰度值相差较大的像素聚集在灰度值的暗端，加之具有中间灰度值像素的缺失，因而在直方图的中部易于产生较长的拖尾。实验表明，用拖尾像素起点处(左端)的灰度值估计白色响应值的方法是行之有效的。

步骤S4、按照输入的参数值，依据所述有效像素计算当前帧的光照值，或采用白色响应值作为当前帧的光照值；

本发明在白色响应估计的基础上，利用灰色调算法的灰度像素假设估计光照的颜色。参数p是闵可夫斯基范数的阶，当p＝∞时，计算有效像素值的p阶闵可夫斯基范数实际上就是R、G、B颜色分量的白色响应值。判断输入的参数p的值是否大于第二阈值，若是，则直接采用白色响应值作为当前帧的光照值，若否，则计算有效像素值的p阶闵可夫斯基范数，获得当前帧的光照值。

步骤S5、利用滑动平均法，计算前K个所述关键帧的平均光照值，对所述当前关键帧的光照值进行更新，获得当前关键帧的光照更新值；

若对每一帧或每几帧均计算一次光照值e，每次计算出的e略有不同，导致画面闪烁、亮度跳跃。采用滑动平均(Moving average，MA)法能有效地消除随机波动，使光照值平稳变化。

步骤S6、利用对角变换，依据所述当前帧的光照更新值，对所述待处理图像进行颜色校正，获得白平衡图像；

利用当前帧估计的光照值，使用对角变换将R、G、B颜色分量的p阶闵可夫斯基范数值或白色响应值映射到灰度轴上，实现将未知光照下的图像颜色映射到白光下的相应颜色，获得白平衡图像。

在本实施例中，参见图7，步骤S3所述白色响应估计具体以步骤S31-S35加以实现，包括：

步骤S31、统计不同颜色分量中各灰度值的像素出现的概率，并对概率直方图进行平滑滤波；

步骤S32、分别查找不同颜色分量的概率直方图中的局部极大点，判断在亮度值范围内是否存在局部极大点，若是，选取最亮的局部极大点为初始点；若否，则选取亮度值范围的下限为初始点；

步骤S33-步骤S34、分别对不同颜色分量的概率直方图，从所述初始点开始，按照灰度值递减的顺序，查找拖尾像素起点处的灰度值；其中：

步骤S33、计算前一个灰度值与当前灰度值的概率差值；

步骤S34、判断所述差值是否大于第一阈值，若是，则执行步骤S38，若否，则选取前一个灰度值作为当前灰度值，返回执行步骤S33；

步骤S35、分别在不同颜色分量的概率直方图中，将所述拖尾像素起点处的灰度值确定为相应颜色分量的白色响应值，并将不大于所述白色响应值的像素确定为有效像素；

步骤S31-步骤S35的实施过程详细地阐述如下：

场景中的白色物体对成像传感器激励的响应，称为白色响应值。人造光源经常出现在低照度场景中。在成像过程中，场景光源或高光比白色物体有更强的响应，因而在获取的图像中有更大的像素值。这样的影响导致白色响应值在很大程度上偏离了白色像素值，干扰了对光照的正确估计。

通过观察有高光图像的直方图发现，由于场景光源或高光在成像中有最大的响应值，对应部分的像素在直方图的最亮端产生一个峰。图5为一幅在钨丝灯的环境下拍摄图像的R、G、B颜色分量直方图，在接近直方图的最亮端有一个可见的峰。

基于梯度下降法的基本思想，分别估计R、G、B颜色通道中的白色响应值。在颜色通道c的直方图中，搜索白色响应值的过程描述如下：首先搜索直方图的局部极大点(峰值点)；粗估计光源响应值的亮度值范围在[0.9，1]之间，查找该亮度值范围内最亮的峰值点，若存在，峰值点处的灰度值用P_c表示，用该灰度值P_c作为初始点，若不存在，用亮度值范围的下限0.9作为初始点；从初始点开始，向灰度值递减的方向扫描每个灰度值l；当相邻两个灰度值概率值之差大于∈时，即满足

p_c(l-1)-p_c(l)＞∈                        1

终止搜索。将当前灰度值确定为颜色通道c中的白色响应估计值，用W_c表示。式中，p_c(l)表示灰度值l∈[0，255]的直方图概率值；根据实验统计确定的阈值∈＝κ×10^-4，κ为[0，1]范围内的常数，但是并不仅限于此。其中，c＝{R，G，B}分别表示R、G、B颜色通道。为了便于在公式1中描述灰度值的递减，这里的描述使用的灰度值范围为[0，255]。

图5中用○号标示直方图的局部极大值(即峰值)，用×号标示白色响应值W_c。由于成像传感器是线性感光，与高光灰度值相差较大的像素聚集在灰度值的暗端，加之具有中间灰度值像素的缺失，因而在直方图的中部易于产生较长的拖尾。实验表明，用拖尾像素起点处(如图6所示，左端)的灰度值估计白色响应值的方法是行之有效的。为了表述的简便性，定义图像中像素有效集为不大于白色响应值的像素集合；集合中的像素称为有效像素，对应的像素值称为有效像素值。

以上部分对白色响应估计的过程做了具体的描述，通过判断相邻灰度值的概率值差是否满足预设的阈值条件，来找到拖尾像素起点处的灰度值，用于估计白色响应值；利用不大于白色响应值的有效像素估计光照值，再进行颜色校正，避免了由于高光造成的光照估计偏差较大的问题，提高了基于图像低阶统计特征的白平衡效果。本实施例并不限定找到拖尾像素起点处灰度值的方法，只要最终能够得到所述拖尾像素起点处的灰度值，都是本发明保护的范围。

在本实施例中，参见图7，步骤S4所述光照估计具体以步骤S41-S45加以实现，包括：

步骤S41、判断输入的参数p的值是否大于第二阈值，若是，则执行步骤S42，若否，则执行步骤S43-步骤S45；

步骤S42、采用白色响应值作为当前帧的光照值；

步骤S43-步骤S45、分别计算不同颜色分量的各有效像素值的p阶闵可夫斯基范数，获得当前帧的光照值；其中：

步骤S43、分别计算不同颜色分量的各有效像素值的p次方，并求和，获得第一和值；

步骤S44、分别计算不同颜色分量的各有效像素值之和，获得第二和值；

步骤S45、分别计算不同颜色分量的第一和值和第二和值比值的p次根，获得当前帧的光照值；

步骤S41-步骤S45的实施过程详细地阐述如下：

对于朗伯表面，一幅彩色图像f(x)＝(f_R(x)，f_G(x)，f_B(x))^T的生成可以表示为3个分量的乘积

f(x)＝∫_ωe(λ)r(x，λ)ρ(λ)dλ        2

式中，在可见光范围ω内，光照光谱能量分布函数e(λ)、空间坐标x处的表面光谱反射函数r(x，λ)、传感器光谱敏感度函数ρ(λ)，均是关于波长λ的函数。假设场景中为单色光照，光照的颜色e取决于可见光范围ω内的光谱能量分布函数e(λ)和传感器敏感度函数ρ(λ)，可表示为

e＝(e_R，e_G，e_B)^T＝∫_ωe(λ)ρ(λ)dλ            3

灰色调算法假设场景反射分量的闵可夫斯基范数是无色差或灰色的，即

$L_c\left(p\right)={\left(\frac{{\∫f}_c^p\left(x\right)\mathrm{dx}}{\∫\mathrm{dx}}\right)}^{\frac{1}{p}}={\mathrm{ke}}_c---4$

式中，L_c(p)表示p阶闵可夫斯基范数(p-范数)，c＝{R，G，B}分别表示R、G、B颜色通道；k为0(全吸收)和1(全反射)之间的常量。Finlayson等的实验发现，当p＝6时，灰色调算法取得最好的结果。

GW算法和WP算法是闵可夫斯基范数的两个特例。当p＝1时，L(1)为灰度假设(1-范数)；当p＝∞时，L(∞)计算R、G、B颜色分量的最大值(∞-范数)。GW算法是基于灰度假设，即假设平均场景反射分量是无色差或灰色的，可表示为

$L\left(1\right)=\frac{\∫f\left(x\right)\mathrm{dx}}{\∫\mathrm{dx}}=\mathrm{ke}---5$

WP算法，也称为Max-RGB算法，假设最大场景反射分量是无色差或灰色的，可表示为

$L(\∞)=\underset{x}{\max }f\left(x\right)=\mathrm{ke}---6$

其中，在独立的颜色通道中执行最大值操作。

但是，高光的出现意味着图像中最大反射分量大于白色响应值。因此，WP算法使用R、G、B颜色分量的最大值来估计光照的颜色将导致错误的结果。为此，本发明仅用图像中有效像素计算L_c(p)，用A表示像素有效集，改进的灰色调算法的假设条件可改写为

$L_c^A\left(p\right)={\left(\frac{{\∫}_{x\∈A}{f}_c^p\left(x\right)\mathrm{dx}}{{\∫}_{x\∈A}\mathrm{dx}}\right)}^{\frac{1}{p}}={\mathrm{ke}}_c---7$

这样，L^A(∞)实际上就是R、G、B颜色分量的白色响应值。在改进的灰色调算法中，随着p值的增大，将逐渐逼近用白色响应值来估计光照的颜色。因此，本发明在p＞10条件下，直接利用白色响应值来估计光照的颜色。

步骤S5的实施过程详细地阐述如下：

常见PAL制式视频的标准帧率是25fps，也就是每帧40ms。对视频中的每隔10帧计算一次光照值，由于每次计算出的略有不同，导致画面闪烁、亮度跳跃。因此，采用滑动平均(Moving average，MA)法计算前K个所述关键帧的平均光照值，对当前帧的光照值e_t进行更新，当前帧的光照更新值

用公式8表示为

${\stackrel{\‾}{e}}_t=\frac{e_{t-K}+\·\·\·+e_{t-k}+\·\·\·+e_{t-1}+e_t}{K}---8$

式中，L^A(p)＝ke，e_t-k表示对当前帧前第k帧图像估计的光照值，其中，k＝1，2，...，K，在实施例中，K＝4，但并不限于此。滑动平均法能够有效地削弱序列光照值的上下随机波动，使光照值平稳变化，且随着K取值的增大，对序列有更强的平滑作用。

步骤S6的实施过程详细地阐述如下：

获得光照颜色的估计值后，利用该估计值对整幅图像的颜色进行校正。冯克里斯假设认为白平衡是利用三个不同的增益系数，独立调整三个锥状信号的过程。因此，光照校正可用对角变换表示为

$\left(\begin{array}{c}{f_R}^{\′}\left(x\right)\\ {f_G}^{\′}\left(x\right)\\ {f_B}^{\′}\left(x\right)\end{array}\right)=\left(\begin{array}{ccc}{s}_R& 0& 0\\ 0& s_G& 0\\ 0& 0& s_B\end{array}\right)\left(\begin{array}{c}{f}_R\left(x\right)\\ f_G\left(x\right)\\ f_B\left(x\right)\end{array}\right)---9$

式中，f_R(x)、f_G(x)、f_B(x)和f_R′(x)、f_G′(x)、f_B′(x)分别表示变换前后的R、G、B颜色分量值。增益系数s_R、s_G、s_B将未知光照下的图像颜色映射到正则光照(通常是白光)下的相应颜色。

由于人眼对绿色更为敏感，保持G分量不变(即s_G＝1)，仅校正R分量和B分量的像素值。R分量和B分量的增益系数s_R和s_B的计算式为

$S_R={\stackrel{\‾}{e}}_G/{\stackrel{\‾}{e}}_R---10$

$S_B={\stackrel{\‾}{e}}_G/{\stackrel{\‾}{e}}_B---11$

式中，参数p为闵可夫斯基范数的阶。根据特定的场景，适当地调整参数p可达到最优白平衡。根据公式9所示的对角变换，R分量和B分量做对应的线性变换，G分量保持原状。同时，白色响应值W_R和W_B也发生相应的调整，W_G保持不变。图9为当p＜∞时对角变换示意图，图10为当p＝∝时对角变换示意图，其中，横轴表示待处理图像f(x)的灰度值，纵轴表示白平衡图像f′(x)的灰度值。

以上部分对光照估计、光照值更新和图像颜色校正的过程做了具体的描述，当输入的参数p大于预设的阈值，则采用白色响应值作为光照值，避免了用具有最大反射分量高光像素值估计光照值导致光照估计错误的问题。通过滑动平均法对当前帧的光照值进行更新，有效地消除了光照值的随机波动导致的画面闪烁、亮度跳跃的问题。利用对角变换，将未知光照下的待处理图像的颜色线性地映射到白光下的相应颜色，有效地校正了图像的偏色。

本实施例将高光作为图像的重要特征用于光照估计；通过估计图像中的白色响应值，避免了由于场景光源或镜面反射造成的图像光照估计偏差较大，影响处理效果的问题，有效地提高了基于图像低阶统计特征的白平衡算法的性能；并且，通过采用滑动平均法更新当前帧的光照值，避免了视频画面闪烁、亮度跳跃的问题。

实施例二

本实施例公开的实时视频白平衡处理流程如图8所示，其整体流程与图7所示的实施例一相同，只是在步骤S6利用对角变换，依据所述当前帧的光照更新值，对所述待处理图像进行颜色校正，获得白平衡图像后加了步骤S7：

步骤S7、对所述白平衡图像进行分段线性灰度级变换。

步骤S7的实施过程详细地阐述如下：

由于场景光源的出现扩大了场景的动态范围，然而，一般的成像、显示设备的动态范围相对较窄，从而导致图像具有低对比度。图像后处理阶段用于调整图像的亮度和对比度。

若分别在R、G、B颜色通道中确定分段线性灰度级变换中线性拉伸段的上限，则将导致颜色失真。因此，对3个颜色通道选取一致的上限M为

$M=\underset{c\∈\{R,G,B\}}{\max }\left\{W_c^{\′}\right\}---12$

式中，W′_c表示白色响应值经过对角变换后的结果，c＝{R，G，B}分别表示R、G、B颜色通道。分段线性灰度级变换，是将白平衡图像f′(x)的灰度值从[0，M]线性拉伸到[0，1]，用o(x)表示为

$o\left(x\right)=\min \{\frac{f^{\′}\left(x\right)}{M},1\}---13$

式中，为线段[(0，0)，(M，1)]的斜率。当p＝∝时，公式9的对角变换将W_c，c＝{R，G，B}均映射到W_G，因而，后处理阶段的分段灰度值变换，就是将白平衡图像f′(x)的灰度值从[0，W_G]线性拉伸到[0，1]范围内，用公式14表示为

$o\left(x\right)=\min \{\frac{f^{\′}\left(x\right)}{W_G},1\}---14$

在这种情形下，白色响应值(W_R，W_G，W_B)^T映射为(1，1，1)^T。图11为当p＜∞时的分段线性灰度级变换示意图，图12为当p＝∝时的分段线性灰度级变换示意图，横轴表示待处理图像f(x)的灰度值，纵轴表示后处理图像o(x)的灰度值。

本实施例中对后处理的过程做了具体的描述，在后处理阶段中，利用分段线性灰度级变换，对白平衡图像的动态范围进行线性拉伸，进一步从整体上提高了处理图像的亮度和对比度。

上述各个实施例从理论方面对本发明公开的一种实时视频去雾处理系统进行了详细的描述，同时从理论方面对其有益效果进行了描述，下面，本发明将从实际的处理过程出发，将本发明与现有技术对同一组图像数据进行处理的数据进行对比，以实现从实际应用中支持本发明的目的。

西蒙弗雷泽大学(Simon Fraser University，SFU)计算视觉实验室的Barnard和Martin等建立了用于评价白平衡算法性能的数据库，采集了51个不同场景，每个场景7～11种不同光照下的共529幅图像。根据场景中不同类型的物理材质表面，SFU图像库将图像分为如下的4种类型：

I.Mondrian：漫反射表面，22个场景，共223幅图像；

II.Specular：有镜面反射表面，9个场景，98幅图像；

III.Metallic：有金属光泽表面，14个场景，149幅图像；

V.Fluorescent：有荧光表面，6个场景，59幅图像。

对于数据库中的所有图像，已知光照的真实值。为了评价光照估计值逼近真实值的程度，角误差∈_ang定义为

${\∈}_{\mathrm{ang}}={\cos }^{-1}\left(\frac{e_l\·e_e}{\left|\right|e_l\left|\right|\left|\right|e_e\left|\right|}\right)---15$

式中，e_l表示光照的真实值，e_e表示光照的估计值。e_l·e_e表示真实值e_l和估计值e_e的点积，||·||表示欧氏范数。为了评价在数据库上进行光照估计的总体性能，选取各角误差的中值作为总计统计量(Summary statistic)，中值角误差认为是最适当的评测指数。

表格1为在SFU图像库上本发明和现有技术处理后中值角误差对比表，比较了在SFU图像库上本发明和现有技术处理后中值角误差。从表中可以看到，对于前三种类型的图像，本发明与WP、GW和灰色调算法(p＝6)的结果相比，具有最低的中值角误差，达到最优的白平衡效果。对于更复杂的第四类荧光表面，本发明的白平衡结果优于灰色调算法(p＝6)，而WP算法具有最低的中值角误差。然而，在实际应用中，更为普遍遇到的是第一类漫反射表面和第二类有镜面反射表面，而第四类荧光表面并不常见。

表格1：在SFU图像库上的中值角误差比较

图13为本发明在SFU图像库上对于参数p取值为1～10及∞处理后的中值角误差曲线图，横轴表示闵可夫斯基范数p的不同取值，纵轴表示中值角误差，调节参数p可达到最优的光照估计。从图中可以看到，对于这四种类型的图像，p分别取值为10、8、∝和1时，达到最低的中值角误差。其中，p取值为∝表示采用白色响应值作为光照的估计值。

在处理速度方面，对于分辨率为288×352的CIF格式视频，本发明的处理速度可达180fps。对于分辨率为576×720的D1格式视频，本发明的处理速度可达45fps。对于实际场合中常用格式的采集视频，完全能够达到实时性的要求。

本说明书中各个实施例采用递进的方式描述。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本发明中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种实时视频白平衡处理系统，其特征在于，是在一个数字集成电路芯片中实现的，设有：数据读取单元(U1)、判断单元(U2)、白色响应估计单元(U3)、光照估计单元(U4)、光照值更新单元(U5)、校正单元(U6)，其中：

数据读取单元(U1)，从实时传输的视频中读取一帧作为待处理图像I(x)＝(I_R(x)，I_G(x)，I_B(x))^T，由R、G、B三个颜色分量组成，所述待处理图像I(x)的高为N_h个像素，宽为N_w个像素，x表示二维空间的坐标，可用向量(m，n)表示，0≤m≤N_h-1，0≤n≤N_w-1，m、n、N_h、N_w均为非负整数，形成一个视频帧；

判断单元(U2)，依次按以下步骤确定并处理所述视频帧：

第一步，将视频序号为10的整数倍的视频帧定义为关键帧，

第二步，判断并处理所述视频帧，若为关键帧，则输入到所述白色响应估计单元(U3)；若为非关键帧，则输入到所述校正单元(U4)；

白色响应估计单元(U3)，估计所述关键帧中不同颜色分量中的白色物体对成像传感器激励的响应值，所述白色响应估计单元依次由直方图计算子单元(U31)、局部极大点查找子单元(U32)、差值计算子单元(U33)、差值判断子单元(U34)以及白色响应值获取子单元(U35)依次串接构成，其中：

直方图计算子单元(U31)，统计所述不同颜色分量中各灰度值的像素出现的概率，构成一个概率直方图，并进行平滑滤波，以8位表示的灰度值范围为[0，255]，等价于以双精度表示的亮度值范围为[0，1]，高光的亮度值范围在[0.9，1]内，

局部极大点查找子单元(U32)，分别查找所述不同颜色分量的概率直方图中概率值局部极大点，步骤如下：

在所述亮度值范围内查找所述概率值局部极大点，若存在，则将最亮的局部极大点作为初始点，若不存在，则选取所述亮度值范围[0.9，1]的下限值0.9作为初始点，

差值计算子单元(U33)，输入来自所述局部极大点查找子单元(U32)的标有所述初始点的概率直方图，从所述初始点开始，向灰度值递减的方向扫描每个灰度值l，并计算相邻两个灰度值所对应的概率值之差p_c(l-1)-p_c(l)，p_c表示概率值，

差值判断子单元(U34)，用于判断相邻两个灰度值对应的概率值之差，步骤如下：

按下式判断p_c(l-1)-p_c(l)＞∈，∈为预设的阈值，取∈＝κ×10^-4，κ为[0，1]范围内的常数，若p_c(l-1)-p_c(l)＞∈成立，则将当前灰度值p_c(l)发送至所述白色响应值获取子单元(U35)，若p_c(l-1)-p_c(l)＞∈不成立，则返回差值计算子单元(U33)，

白色响应值获取子单元(U35)，将从所述差值判断子单元(U34)输入的所述当前灰度值作为所对应的R、G、B三个颜色分量中估计的白色响应值W_c，c＝{R，G，B}，将不大于所述白色响应值的像素集合称为像素有效集A＝{x|f_c(x)≤W_c，c＝{R，G，B}}，其中的像素称为有效像素，对应的像素值称为有效像素值；

光照估计单元(U4)，包括：参数调节子单元(U41)、光照值判断子单元(U42)、第一和值计算子单元(U43)、第二和值计算子单元(U44)、比值计算子单元(U45)和光照值获取子单元(U46)，其中：

参数调节子单元(U41)，所述参数指改进的灰色调算法中的闵可夫斯基范数L_c(p)的阶数p，通过参数值调节旋钮改变p值，

参数判断子单元(U42)，判断从所述参数调节子单元(U41)输入的闵可夫斯基范数L_c(p)的阶数p是否大于设定的阈值10：

若p＞10，则采用所述白色响应估计值获取子单元(U35)得到的所述白色响应估计值W_c，c∈{R，G，B}作为所述当前帧的光照值，

若p≤10，则将不同颜色分量的所述像素有效集A中的各有效像素值分别送入所述第一和值计算子单元(U43)和第二和值计算子单元(U44)，

第一和值计算子单元(U43)，将所述参数判断子单元(U42)在p≤10条件下送来的各有效像素值自乘p次方后再求和，将计算结果输入所述比值计算子单元(U45)，

第二和值计算子单元(U44)，将所述参数判断子单元(U42)在p≤10条件下送来的各有效像素值求和，把计算结果输入所述比值计算子单元(U45)，

比值计算子单元(U45)，计算所述第一和值和第二和值的比值的p次根，作为所述当前帧的光照值：

$L_c^A\left(p\right)={\left(\frac{{\∫}_{x\∈A}{f}_c^p\left(x\right)\mathrm{dx}}{{\∫}_{x\∈A}\mathrm{dx}}\right)}^{\frac{1}{p}}={\mathrm{ke}}_c$

其中，c＝{R，G，B}，

光照值获取子单元(U46)，从所述白色响应值获取子单元(U35)或所述比值计算子单元(U45)获取所述不同颜色分量的当前帧的光照值；

光照值更新单元(U5)，输入所述当前帧及前面K-1个帧的光照值，按下述滑动平均算式计算平均光照值

作为所述当前帧的光照更新值：

${\stackrel{\‾}{e}}_t=\frac{e_{t-K}+\·\·\·+e_{t-k}+\·\·\·+e_{t-1}+e_t}{K}$

其中，L^A(p)＝ke，e_t-k表示对当前帧e_t前第k帧图像估计的光照值，k＝1，2，...，K，K＝4；

校正单元(U6)，从所述光照值更新单元(U5)输入所述不同颜色分量的当前帧的经过滑动平均更新后的光照值

利用对应于不同颜色分量的三个不同的增益系数s_R、s_G、s_B，对所述待处理有效像素图像f_c(x)进行颜色校正，c＝{R，G，B}，得到白平衡图像，表示为f_c′(x)：

$\left(\begin{array}{c}{f_R}^{\′}\left(x\right)\\ {f_G}^{\′}\left(x\right)\\ {f_B}^{\′}\left(x\right)\end{array}\right)=\left(\begin{array}{ccc}{s}_R& 0& 0\\ 0& s_G& 0\\ 0& 0& s_B\end{array}\right)\left(\begin{array}{c}{f}_R\left(x\right)\\ f_G\left(x\right)\\ f_B\left(x\right)\end{array}\right)$

其中，s_G＝1、

经过对角变换后，W′_G＝W_G、W′_R＝s_RW_R、W′_B＝s_BW_B，

所述校正单元(U6)对所述输入的非关键帧，利用所述关键帧的光照更新值

作为当前帧的光照更新值通过所述三个增益系数s_R、s_G、s_B进行校正。

2.根据权利要求1所述的一种实时视频白平衡处理系统，其特征在于，在所述校正单元(U6)后加了后处理单元(U7)，所述后处理单元输入由所述校正单元(U6)输出的所述白平衡图像f′(x)＝(f_R′(x)，f_G′(x)，f_B′(x))^T，按以下步骤处理：

将所述白平衡图像f′(x)的灰度值从[0，M]线性拉伸到[0，1]范围内，用o(x)表示分段线性灰度级变换后的图像，从而实现亮度调整：

$o\left(x\right)=\min \{\frac{f^{\′}\left(x\right)}{M},1\}$

式中，

为线段[(0，0)，(M，1)]的斜率。

Images