CN102789634A - 一种获取光照均一化图像的方法 - Google Patents

Abstract

本发明公开了一种获取光照均一化图像的方法，其步骤为：（1）计算输入图像的照度估计，并根据图像成像模型，获取均一化光照图像；（2）采用加窗S函数对均一化光照图像进行对比度增强处理，得到增强后的光照均一化图像。本发明原理简单、操作简便，其采用性能更为优越的滤波算法对图像进行滤波处理获取图像更为准确的照度估计，从而有效克服光晕问题；接下来对均一化光照图像进行对比度增强处理，补偿了由于光照过强或过弱造成的对比度下降。

Description

一种获取光照均一化图像的方法

技术领域

本发明主要涉及到数字图像处理、计算机视觉等领域，特指一种从图像成像模型出发利用加权最小二乘滤波器消除光照对图像的影响以获取光照均一图像的方法。

背景技术

现实场景中由于阳光直射、反射及遮挡等因素的存在，使得光照条件较为复杂，光线直射的一面图像亮度很大，甚至过饱和；而背对光线暗或被遮挡的一面亮度较弱，整个场景的动态范围较大，相机采集到的高动态范围图像局部对比度较差，给目标特征提取、跟踪及位姿估计带来了极大的挑战。

现有技术中有从业者提出过各种方法来解决光照下的图像问题，但都不能很好地解决光晕及颜色失真等问题，同时算法的鲁棒性不高。

针对基于模型的实时3D姿态跟踪中由于光照引起的阴影问题，Hans de Ruiter等提出局部光照归一化滤波器——LINF（Localized Illumination Normalization Filter,LINF）：

$M^{\′}(x,y)M(x,y)\frac{0.5}{(G*M)(x,y)}---\left(1\right)$

式中M(x,y)输入原始图像，(G*M)(x,y)为原始图像与高斯滤波器卷积结果，M'(x,y)为LINF输出处理结果。文中认为图像中阴影对应频域中低频成分，LINF在去除图像中阴影的同时保留了图像中高频成分，为接下来跟踪等应用提供了很好地基础。关于图像的成像模型有一个普遍认同的观点，即认为图像强度值I为照度L与反射比R的乘积，公式如下：

I=L×R                （2）

学者们提出假设认为自然场景中光照的变化是连续的，并将对原始图像的高斯滤波作为图像场中光照的估计。通过对LINF滤波器分析后不难发现，其实质上就是一个反射比提取的过程，由于LINF采用高斯平滑的结果作为图像光照的估计所以LINF同样不能很好地解决光晕问题。

另有从业者针对人脸识别中光照均一问题提出基于小波变换的处理方法，首先对原始图像进行小波变换，进而将图像进行分层，然后对低频成分进行直方图均衡化处理，使得低频成分在可用动态空间中均匀分布，充分利用动态空间，对高频成分乘以增强因子以实现对细节成分的增强处理，最终通过逆小波变换得到最终的处理结果。通过大量实验验证取得了不错的实验效果。但认真分析后不难发现，本算法实质上也就是对图像进行分层，类似地得到光照估计（对应低频成分）与反射比（对应高频成分），然后对低频和高频成分进行分别处理得到最终的处理结果，由于本算法采用直方图均衡化算法对低频成分进行处理，仅利用了图像低频成分的全局统计信息，不能很好地适应局部光照的变化，不能真正做到消除光照对图像的影响。

针对人脸识别中的光照问题，另有从业者提出一种分块处理框架，首先将图像分成若干相互重叠的小块，然后针对每一小块采用Gamma校正或直方图规定化算法矫正到参考图像，最终将小块合并得到最终的处理结果。该方法的处理结果严重依赖于参考图像的选择，这一点在实际应用中往往很难满足，因为现实场景复杂多变，很难选择适当的参考图像，因此无法保证最终的处理结果。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简便、能够有效克服光晕问题的获取光照均一化图像的方法。

为解决上述技术问题，本发明采用以下技术方案：

一种获取光照均一化图像的方法，其步骤为：

（1）计算输入图像的照度估计，并根据图像成像模型，获取均一化光照图像；

（2）采用加窗S函数对均一化光照图像进行对比度增强处理，得到增强后的光照均一化图像。

作为本发明的进一步改进：

所述步骤（1）的具体步骤为：

（1.1）图像照度分量的准确提取；采用加权最小二乘滤波器通过求取公式（3）的最小值实现对图像的平滑操作，进而得到输入图像的照度估计：

${\arg }_{\min }\underset{p}{\mathrm{\Σ}}({(L_p-I_p)}^2+\mathrm{\λ}(a_{x,p\left(I\right)}{\left(\frac{{\∂}_L}{{\∂}_x}\right)}^2+a_{y,p\left(I\right)}{\left(\frac{{\∂}_L}{{\∂}_y}\right)}^2))---\left(3\right)$

其中，p为图像中像素位置，I为输入图像，L为图像照度估计，

及

为L在x、y方向上的一阶偏导数，a_x,p(I)及a_y,p(I)为对应的光滑权重系数，定义如公式（4）所示，

$a_{x,p\left(I\right)}={({\left|\frac{\∂i}{\∂x}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1},$ $a_{y,p\left(I\right)}={({\left|\frac{\∂i}{\∂x}\left(p\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}---\left(4\right)$

式中i为输入图像的log变换，指数α用来决定输入图像对变化程度的敏感度，ε是一个常数以保证当图像恒定不变时，分母不为零；

（1.2）均一化光照图像获取；基于下述公式（2）所示的图像成像模型，即认为图像强度值为照度L与反射比R的乘积。结合公式（3）得到的图像照度估计L，计算得到均一化光照图像I′，如式（5）所示。

I=L×R            （2）

$I^{\′}=\frac{I}{L}---\left(5\right).$

所述步骤（2）中的S函数定义如式（6）：

$f\left(v\right)=\frac{1}{1+e^{-\mathrm{av}}}---\left(6\right);$

所述步骤（2）是基于S函数通过以下公式（7）～（9）来实现：

$I^{\′\′}=\frac{I^{\′}-v_{\min }}{v_{\max }-v_{\min }}---\left(7\right)$

$I^{\′\′\′}=\frac{1}{1+e^{-a{I}^{\′\′}}}---\left(8\right)$

$I_{\mathrm{enh}}^{\′}=\frac{I^{\′\′\′}-f\left(v_{\min }\right)}{f\left(v_{\max }\right)-f\left(v_{\min }\right)}---\left(9\right)$

其中，式中I′_enh为最终增强后的图像，I″及I″′为中间处理结果，a、v_min及v_max为控制均一化光照图像增强的参数，这里固定a和v_max的值，取a=1,v_max=3，而v_min的值与图像有关，灰度图像的全局均值I_m决定v_min的值，如下式（10）：

$v_{\min }=\left\{\begin{array}{c}-6,I_m\&le;70\\ \frac{I_m-70}{80}\&times;3-\mathrm{6,70}<I_m<150\\ -3,I_m\&GreaterEqual;150\end{array}\right.---\left(10\right).$

与现有技术相比，本发明的优点在于：

1、本发明仅基于单帧图像采用加权最小二乘滤波器进行照度估计并依据图像成像模型获取均一化光照图像，算法步骤简单明了，计算复杂度低，易于应用。

2、本发明采用性能优越的加权最小二乘滤波器进行图像照度估计的提取，能够在平滑的同时很好地保持图像边缘，可实现对图像照度的准确估计，很好地解决了光晕问题。

3、本发明采用改进的加窗S函数对反射分量进行对比度增强，补偿由于光照过强或过弱引起的对比度减弱，极大地改善了均一化光照图像的质量。

附图说明

图1是本发明方法的流程示意图。

图2是本发明中加窗S函数的曲线簇示意图。

图3是本发明在具体应用实例中的处理过程示意图；图3(a)为原始图像；图3(b)为使用WLS对原始图像处理后所得图像的照度估计；图3(c)为在得到图像的照度估计后所求取的均一化光照图像；图3(d)为采用改进的加窗S函数进行对比度增强后得到最终的处理结果。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

本发明的获取光照均一化图像的方法为：首先计算输入图像的照度估计，并根据图像成像模型，获取均一化光照图像；接下来，采用改进的加窗S函数对均一化光照图像进行对比度增强处理，最终得到增强后的光照均一化图像。照度估计不准确是造成光晕问题的最根本原因，本发明采用了性能更为优越的滤波算法对图像进行滤波处理获取图像更为准确的照度估计，从而有效克服光晕问题；接下来对均一化光照图像进行对比度增强处理，补偿了由于光照过强或过弱造成的对比度下降。

如图1所示，本发明的具体步骤为：

（1）图像照度分量的准确提取。采用Zeev Farbman等提出的加权最小二乘滤波器（Weighted Least Square Filter,WLS）通过求取公式（3）的最小值实现对图像的平滑操作，进而得到输入图像的照度估计L，如公式（3）所示：

${\arg }_{\min }\underset{p}{\mathrm{\&Sigma;}}({(L_p-I_p)}^2+\mathrm{\&lambda;}(a_{x,p\left(I\right)}{\left(\frac{{\&PartialD;}_L}{{\&PartialD;}_x}\right)}^2+a_{y,p\left(I\right)}{\left(\frac{{\&PartialD;}_L}{{\&PartialD;}_y}\right)}^2))---\left(3\right)$

其中，p为图像中像素位置，I为输入图像，L为图像照度估计，λ取一个定值，

及

为L在x、y方向上的一阶偏导数，a_x,p(I)及a_y,p(I)为对应的光滑权重系数，定义如公式（4）所示，

$a_{x,p\left(I\right)}={({\left|\frac{\&PartialD;i}{\&PartialD;x}\left(p\right)\right|}^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$ $a_{y,p\left(I\right)}={({\left|\frac{\&PartialD;i}{\&PartialD;x}\left(p\right)\right|}^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1}---\left(4\right)$

式中i为输入图像的log变换，指数α（通常在1.2～2.0之间）决定了输入图像对变化程度的敏感度，ε是一个很小的常数（通常定义为0.0001）以保证当图像恒定不变时，分母不为零。

（2）均一化光照图像获取。基于下述公式（2）所示的图像成像模型，即认为图像强度值I为照度L与反射比R的乘积。结合公式（3）得到的图像照度估计L，计算得到均一化光照图像I′，如式（5）所示。

I=L×R            （2）

$I^{\&prime;}=\frac{I}{L}---\left(5\right)$

（3）均一化光照图像自适应对比度增强。针对由于光照引起的对比度下降问题，本发明采用改进的加窗S函数对得到的均一化光照图像进行对比度增强，S函数定义如式（6）：

$f\left(v\right)=\frac{1}{1+e^{-\mathrm{av}}}---\left(6\right)$

基于S函数，本发明通过引入参数，实现对S函数映射曲线的控制，并自适应计算相关参数，实现自适应的图像对比度增强处理，具体实现如公式（7）～（9）所示，

$I^{\&prime;\&prime;}=\frac{I^{\&prime;}-v_{\min }}{v_{\max }-v_{\min }}---\left(7\right)$

$I^{\&prime;\&prime;\&prime;}=\frac{1}{1+e^{-a{I}^{\&prime;\&prime;}}}---\left(8\right)$

$I_{\mathrm{enh}}^{\&prime;}=\frac{I^{\&prime;\&prime;\&prime;}-f\left(v_{\min }\right)}{f\left(v_{\max }\right)-f\left(v_{\min }\right)}---\left(9\right)$

其中，式中I′_enh为最终增强后的图像，I″及I″′为中间处理结果，a、v_min及v_max为控制均一化光照图像增强的参数，这里固定a和v_max的值，取a=1,v_max=3，对于不同的v_min可以得到一簇曲线，如图2所示。

从图2中可以清晰地看出v_min和v_max对增强过程的控制。在本应用中对于所有图像，始终设定a=1,v_max=3，而v_min的值与图像有关，灰度图像的全局均值I_m决定v_min的值，以实现照度动态范围压缩的自适应控制，具体计算公式如下（10）：

$v_{\min }=\left\{\begin{array}{c}-6,I_m\&le;70\\ \frac{I_m-70}{80}\&times;3-\mathrm{6,70}<I_m<150\\ -3,I_m\&GreaterEqual;150\end{array}\right.---\left(10\right).$

至此就实现了均一化光照图像的自适应增强处理。

图3是针对一幅仿真光照不均一图像的处理过程。

图3(a)为原始图像，从图中可以看出整个图像场中光照变化剧烈，存在着明显的光照变化（参见图3(a)中的阶梯所示），每个阶梯层次上起伏对应图像中包含的细节信息。

图3(b)为使用WLS对原始图像处理后所得图像的照度估计（这里默认参数取为α=1.2，λ=1.0）。

图3(c)为在得到图像的照度估计后，依据公式（2）所示的图像成像模型，所求取的均一化光照图像。

图3(d)为采用改进的加窗S函数对上述所得均一化光照图像进行对比度增强，得到最终的处理结果。

通过比较图3(a)与3(d)的处理结果，针对光照变化剧烈的图像，本发明从单幅图像信息出发，较好地均一化了图像光照，消除了光照对图像的影响，克服了已有技术普遍存在的光晕问题，同时有效增强了图像对比度，为后续的目标特征提取、跟踪及位姿估计等应用提供了良好地基础，验证了本发明的有效性。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (3)

1.一种获取光照均一化图像的方法，其特征在于，步骤为：

（1）计算输入图像的照度估计，并根据图像成像模型，获取均一化光照图像；

（2）采用加窗S函数对均一化光照图像进行对比度增强处理，得到增强后的光照均一化图像。

2.根据权利要求1所述的获取光照均一化图像的方法，其特征在于，所述步骤（1）的具体步骤为：

（1.1）图像照度分量的准确提取；采用加权最小二乘滤波器通过求取公式（3）的最小值实现对图像的平滑操作，进而得到输入图像的照度估计：

${\arg }_{\min }\underset{p}{\mathrm{\&Sigma;}}({(L_p-I_p)}^2+\mathrm{\&lambda;}(a_{x,p\left(I\right)}{\left(\frac{{\&PartialD;}_L}{{\&PartialD;}_x}\right)}^2+a_{y,p\left(I\right)}{\left(\frac{{\&PartialD;}_L}{{\&PartialD;}_y}\right)}^2))---\left(3\right)$

其中，p为图像中像素位置，I为输入图像，L为图像照度估计，

及

为L在x、y方向上的一阶偏导数，a_x,p(I)及a_y,p(I)为对应的光滑权重系数，定义如公式（4）所示，

$a_{x,p\left(I\right)}={({\left|\frac{\&PartialD;i}{\&PartialD;x}\left(p\right)\right|}^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1},$ $a_{y,p\left(I\right)}={({\left|\frac{\&PartialD;i}{\&PartialD;x}\left(p\right)\right|}^{\mathrm{\&alpha;}}+\mathrm{\&epsiv;})}^{-1}---\left(4\right)$

式中i为输入图像的log变换，指数α用来决定输入图像对变化程度的敏感度，ε是一个常数以保证当图像恒定不变时，分母不为零；

（1.2）均一化光照图像获取；基于下述公式（2）所示的图像成像模型，结合公式（3）得到的图像照度估计L，计算得到均一化光照图像I′，如式（5）所示。

I=L×R        （2）

$I^{\&prime;}=\frac{I}{L}---\left(5\right).$

3.根据权利要求1所述的获取光照均一化图像的方法，其特征在于，所述步骤（2）中的S函数定义如式（6）：

$f\left(v\right)=\frac{1}{1+e^{-\mathrm{av}}}---\left(6\right);$

所述步骤（2）是基于S函数通过以下公式（7）～（9）来实现：

$I^{\&prime;\&prime;}=\frac{I^{\&prime;}-v_{\min }}{v_{\max }-v_{\min }}---\left(7\right)$

$I^{\&prime;\&prime;\&prime;}=\frac{1}{1+e^{-a{I}^{\&prime;\&prime;}}}---\left(8\right)$

$I_{\mathrm{enh}}^{\&prime;}=\frac{I^{\&prime;\&prime;\&prime;}-f\left(v_{\min }\right)}{f\left(v_{\max }\right)-f\left(v_{\min }\right)}---\left(9\right)$

其中，式中I′_enh为最终增强后的图像，I″及I″′为中间处理结果，a、v_min及v_max为控制均一化光照图像增强的参数，这里固定a和v_max的值，取a=1,v_max=3，而v_min的值与图像有关，灰度图像的全局均值I_m决定v_min的值，如下式（10）：

$v_{\min }=\left\{\begin{array}{c}-6,I_m\&le;70\\ \frac{I_m-70}{80}\&times;3-\mathrm{6,70}<I_m<150\\ -3,I_m\&GreaterEqual;150\end{array}\right.---\left(10\right).$

Images