CN104574293A - 基于有界运算的多尺度Retinex图像清晰化算法 - Google Patents

Abstract

基于有界运算的多尺度Retinex图像清晰化算法，涉及数字图像处理技术领域，解决现有图像增强算法实现图像清晰化时存在局限性，并在光照度变化较强烈的区域会产生光晕现象等问题，根据提出的有界广义对数比运算模型，用GLR模型中的加法代替Retinex算法中的对数变换，对图像作类对数变换；采用自适应不同尺度的引导滤波核函数，进行高低频信息分离，得到不同尺度的照射图像；再由GLR模型的减法去除照射分量将不同尺度的反射分量从原始图像中分割出来；利用四方向的Sobel梯度图像，采用有界GLR模型乘法和加法代替传统运算对不同尺度的有效信息进行融合，得到最终的多尺度反射分量图像，即最后清晰化图像。

Description

基于有界运算的多尺度Retinex图像清晰化算法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于有界运算的多尺度Retinex图像清晰化算法。

背景技术

目前，数字化图像处理技术在军事、国防、医学、监控等领域得到了广泛的应用，但是由于在成像的过程低照度、不均匀光照、雾天等恶劣环境的影响，导致图像降质，如细节不清晰、对比度差、信噪比低等，因此对图像清晰化处理是一个迫切的需求。图像的清晰化处理可以提高图像对比度，改善视觉效果以利于图像的后续分析工作，如图像分割、目标识别、目标跟踪等。

当前的图像增强方法较多，主要包括：直方图均衡化、同态滤波以及Retinex算法等，但每种算法在对降质图像进行增强时都有一定弊端和局限性。图像直方图均衡化算法是传统有效的图像增强算法。直方图均衡化算法通过对灰度比较集中的区间进行扩展，使灰度间距拉大或均匀分布，从而达到增大图像灰度级的动态范围、提高图像整体对比度的目的。但是均衡化使图像的灰度级有可能被过多地合并，也易造成图像信息的丢失，有时会出现过饱和现象，放大噪声，使图像整体视觉效果会降低。同态滤波将图像视为入射分量和反射分量的乘积，将原图取对数并进行傅里叶变换将图像转换到频域，削弱缓慢变化的入射分量中的低频成分，适当增强反射分量中图像纹理及细节等高频成分，从而达到压缩动态范围、增强对比度的目的。但是，在同态滤波中的频域滤波会在图像边界产生模糊效应，由于涉及大量复杂的时频转换，不适合工程中实时视觉系统的要求。从人类视觉系统的生物特性出发的Retinex算法备受关注，Retinex模型是基于人类视觉系统色彩恒常性理论提出的照射和反射模型，即当外界照度条件有很大变化时，人眼对物体颜色的感知仍能保持相对不变，表现出颜色恒常性。Jobson等人提出中心环绕Retinex方法应用最为广泛，包括单尺度Retinex(SSR)算法、多尺度Retinex(MSR)算法、带色彩恢复因子的多尺度Retinex(MSRCR)算法等。Retinex理论假设空间中光照是平滑变化的，因此在光照度变化较强烈的区域会产生“光晕”现象。

发明内容

本发明为解决现有图像增强算法实现图像清晰化时存在局限性，并在光照度变化较强烈的区域会产生光晕现象等问题，提供一种基于有界运算的多尺度Retinex图像清晰化算法。

基于有界运算的多尺度Retinex图像清晰化算法，其特征是，该算法由以下步骤实现：

步骤一、采用有界GLR运算模型中的加法代替Retinex算法中的对数变换，对原图像作类对数变换；采用自适应不同尺度的引导滤波核函数，对所述作类对数变换的原图像进行高低频信息分离，得到对数域中不同尺度的照射分量；

步骤二、采用有界GLR运算模型中的减法去除步骤一中所述的照射分量，获得不同尺度的反射分量；

步骤三、采用四方向的Sobel梯度图像及有界GLR运算模型乘法和加法对不同尺度的反射分量进行融合，获得多尺度反射分量图像，即最后清晰化图像；

该算法在步骤一之前进行图像处理，针对有界GLR运算模型设计有界运算规则，具体过程为：

设定一帧图像灰度值为I(x,y)，进行归一化处理，定义如下：

II(x,y)＝(I(x,y)+1+δ)/(M+δ')

式中I(x,y)定义在[0,M)区间，M是光强饱和值，δ与δ'是微小的扰动量，使归一化后的像素值II(x,y)∈(0,1)，将归一化后像素值II(x,y)∈(0,1)进行非线性变换，记对比值p(x)取对数运算，获得非线性函数φ(x)及逆变换φ^-1(x)，用下式表示为：

$\mathrm{\φ}\left(x\right)=\log \left(p\left(x\right)\right)=\log \left(\frac{1-x}{x}\right)$

${\mathrm{\φ}}^{-1}\left(x\right)=\frac{1}{e^x+1}$

将φ(x)进行广义线性运算，再通过φ^-1(x)逆变换，最后进行反归一化处理。

本发明步骤三中所述的四方向为水平方向、垂直方向、45度方向和135度方向，所述四方向Sobel梯度图像用下式表示为：  $S(i,j)=\sqrt{(D_0^2(i,j)+D_{45}^2(i,j)+D_{90}^2(i,j)+D_{135}^2(i,j))}.$

本发明的有益效果：本发明能够有效地处理细节不清晰、对比度差、信噪比低等降质图像的增强问题。本算法实现了图像对比度提高和动态范围的有效压缩，增强和保留了图像的纹理细节信息及边缘，具有极强的抗噪能力，有效地克服了光晕伪影现象及过增强现象的出现，能够满足多种实际工程的需求。

附图说明

图1为本发明所述的基于有界运算的多尺度Retinex图像清晰化算法的结构框图；

图2为本发明所述的基于有界运算的多尺度Retinex图像清晰化算法中对数变换及GLR模型加法原理图；

图3为本发明所述的基于有界运算的多尺度Retinex图像清晰化算法中GLR模型乘法运算原理图；

图4为本发明所述的基于有界运算的多尺度Retinex图像清晰化算法中GLR模型减法运算原理图；

图5中5a至5i分别为本发明所述的基于有界运算的多尺度Retinex图像清晰化算法中图像类对数变换效果图；其中，5a原图，5b对数变换，5c类对数变换，5d至5e分别为5a至5c的局部放大图，5g至5i分别为5a至5c对应的直方图；

图6为低照度图像清晰化对比试验效果图；其中，图6a为原图，图6b为直方图均衡化结果图，图6c为多尺度Retinex结果图，图6d为同态滤波结果图，图6e为采用本发明所述算法的效果图；

图7为红外图像清晰化对比试验的效果图；图7a为原图，图7b为直方图均衡化结果图，图7c为多尺度Retinex结果图，图7d为同态滤波结果图，图7e为采用本发明所述算法的效果图；

图8为雾天图像清晰化对比试验效果图；图8a为原图，图8b为直方图均衡化结果图，图8c为多尺度Retinex结果图，图8d为同态滤波结果图，图8e为采用本发明所述算法效果图。

具体实施方式

具体实施方式一、结合图1说明本实施方式，基于有界运算的多尺度Retinex 图像清晰化算法，根据提出的有界广义对数比(GLR，General Log-Radio)运算模型，用GLR模型中的加法代替Retinex算法中的对数变换，对图像作类对数变换；采用自适应不同尺度的引导滤波核函数，进行高低频信息分离，得到不同尺度的照射图像；

再由GLR模型的减法去除照射分量将不同尺度的反射分量从原始图像中分割出来；

利用四方向的Sobel梯度图像，采用有界GLR模型乘法和加法代替传统运算对不同尺度的有效信息进行融合，得到最终的多尺度反射分量图像，即最后清晰化图像。

本实施方式中在进行图像处理时，采用传统的线性运算，会有越界现象的发生，这就会导致细节丢失，使得图像变得模糊。这里设计一种有界的运算规则，避免越界现象的发生。设一帧图像的灰度值为I(x,y)，进行归一化处理，定义如下：

II(x,y)＝(I(x,y)+1+δ)/(M+δ')(1)

式中I(x,y)定义在[0,M)区间，M是光强饱和值，是人类视觉的极限。对于8-bit图像，M＝256。δ与δ'是微小的扰动量，保证归一化后的像素值II(x,y)∈(0,1)。将归一化后像素值x∈(0,1)进行非线性变换，记对比值p(x)取对数运算，可得非线性函数φ(x)及其逆变换φ^-1(x)为：

$\mathrm{\φ}\left(x\right)=\log \left(p\left(x\right)\right)=\log \left(\frac{1-x}{x}\right)---\left(2\right)$

${\mathrm{\φ}}^{-1}\left(x\right)=\frac{1}{e^x+1}---\left(3\right)$

将φ(x)进行广义线性运算，再通过φ^-1(x)逆变换，最后进行反归一化处理，得到最终输出结果。将上述有界运算过程称为广义对数比(GLR，GeneralLog-Radio)模型。这里广义线性有界运算分别表示GLR模型中的加、减、乘运算，定义如下：

其中x1，x2分别表示两路输入信号，其信号可以是标量，也可以是一个向量或矩阵。γ是一个实数。若可推导ξ＝1/2，称其为GLR模型的零值。

Retinex理论认为一幅图像I(x，y)可用反射分量R(x，y)和照射分量L(x，y)的乘积表示，并转换到适合人类视觉感知亮度能力的对数域进行计算，将较复杂的乘积形式转换成简单的加减运算，在原始图像中去除照射分量得到反应物体本质属性的反射分量，即单尺度的Retinex算法(SSR)。由于SSR不能在图像动态范围压缩，边缘锐化，色彩保持达到很好的平衡，因此提出了多尺度的Retinex算法(MSR)，如式(7)所示。

$R(x,y)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i\{\log I(x,y)-\log [I(x,y)*G(x,y)\left]\right\}---\left(7\right)$

其中，环绕函数G(x,y)为低通函数，用于模拟原始图像中变换缓慢的信号，该函数用于从原始图像中估计照射分量L(x,y)，即原始图像中的低频部分。G(x,y)一般采用具有较强动态压缩能力的函数形式，传统采用高斯函数，而高斯滤波只考虑到像素间的距离，它在滤波时虽然对边缘进行了平滑，但是会出现模糊现象。双边滤波充分考虑像素间距离和灰度值对滤波点的影响，则很好地保留了图像的边缘，但是会出现梯度翻转的伪影现象。近年来提出的引导滤波核函数如式(8)所示，在保证输入图像平滑的同时，具有很好的边缘保持、细节增强的特性而被广泛应用。

$W_{\mathrm{ij}}=\frac{1}{{\left|\mathrm{\ω}\right|}^2}\underset{k:(i,j)\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}(1+\frac{(P_i-{\mathrm{\μ}}_k)(P_j-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}})---\left(8\right)$

其中，P为输入图像，μ_k和σ_k为窗口ω_k中的像素均值和均方差，|ω| 为窗口ω_k的像素个数，ε为平滑因子。传统的基于多尺度Retinex(MSR)图像增强算法，取不同尺度参数进行线性加权平均，如式(9)所示：

$R(x,y)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{w}_i\{\log I(x,y)-\log [I(x,y)*G(x,y)\left]\right\}---\left(9\right)$

MSR虽然能在图像动态范围压缩和色彩恒常性上效果优于SSR，但是在处理复杂图像时会产生光晕伪影现象。本实施方式中采用引导滤波对图像进行平滑，本实施方式将有界运算的GLR模型的加、减、乘的线性运算性质与多尺度Retinex特性相结合，应用到图像清晰化的处理中。

具体实施方式二、结合图1至图8说明本实施方式，基于有界运算的多尺度Retinex图像清晰化算法，本实施方式利用有界运算的GLR模型加法，选取变换因子a₁，对原图II(x,y)进行类对数变换得ii(x,y)，转换到适合视觉感知亮度能力的对数域；对原图进行不同尺度的引导滤波，并选取不同的变换因子，对引导滤波后的图像I’_i(x,y)利用GLR模型加法进行类对数变换，得到对数域中图像的照射分量l’_i(x,y)；再由GLR模型的减法去除照射分量将不同尺度图像的反射分量r’_i(x,y)从原始图像中分割出来；利用人眼对边缘等高频信息比较敏感，利用四方向的Sobel梯度图像，得到关于梯度图像像素的自适应的增益函数λ_i(x,y)，采用GLR模型的乘法和加法与自适应增益函数共同作用，对不同尺度的有效信息进行融合，得到最终的多尺度反射分量R(x,y)图像，即最后清晰化图像。

具体步骤为： 

一、原图类对数变换；

GLR模型加法，结合图2，当a>0.5时，对较大的灰度值进行了压缩，同时对较小的灰度值进行了拉伸；当a<0.5时，结果相反。由于a>0.5这部分GLR模型的加法运算与对数变换具有相似的图像变换能力，称这部分GLR模型的加变换为类对数变换。本实施试采用有界运算GLR模型加法代替对于Retinex中的对数变换。

类对数变换可以有效地提高暗区图像对比度，为尽量减少亮区图像细节的丢失，需要在亮区间内选取变换曲线的斜率应尽量的大，当a>0.85时(图2a＝0.90和a＝0.97)，亮区变换曲线的斜率小于对数变换，显然不符合要求。当a<＝0.85(图2a＝0.80和a＝0.85)时，基本保留对数变换中对暗区的灰度的拉伸，同时变换曲 线的斜率在亮区均大于对数变换。因此，选取这个区间内的类对数变换，将取得比对数变换更好的视觉效果，选取a＝0.80进行类对数变换，类对数变换不仅使图像的整体亮度得到提升，直方图分布更加均匀，在有效提升对比度的同时，保留了亮区图像的细节，结合图5。

二、不同尺度照射图像获取；

本实施方式采用不同尺度的引导滤波获取图像的照射分量，选取高、中、低三个不同尺度因子，对原图进行低通滤波。R为滤波半径，为了对r的取值具有自适应性，考虑到引导滤波利用盒式滤波，r的最大值r_max＝[min(height,width)/3]，r的最小值r_min＝[min(height,width)/(2n)]。其中n为选取尺度的个数，本文选取的尺度n＝3；取r的中间值r_mid＝[(r_max+r_min)/2]，其中height和width为图像的高度和宽度，[]表示取整操作。对引导滤波后的图像利用GLR模型加法进行类对数变换，得到对数域中不同尺度图像的照射分量li’(x,y)。

三、多尺度反射图像获取；

由GLR模型减法，结合图4，去除照射分量将不同尺度图像的反射分量从原始图像中分割出来，如式(10)：

利用人眼对边缘等高频信息比较敏感的特性，利用Sobel算子获取边缘图像。通常Sobel算子只考虑水平和垂直两个方向卷积和求梯度，为使Sobel算子具有更强的平滑噪声的能力，在此增加两个对角方向的滤波，得到四方向的Sobel梯度图像。图像中每个点的梯度具体公式如下：

水平方向卷积和：

D₀＝I(x-1,y+1)+I(x+1,y+1)-

I(x-1,y-1)-I(x+1,y-1)+   (11)

2I(x,y)-2I(x,y-1)

垂直方向卷积和：

D₉₀＝I(x+1,y-1)+I(x+1,y+1)-

I(x-1,y-1)-I(x-1,y+1)+   (12)

2I(x+1,y)-2I(x-1,y)

45°方向卷积和：

D₄₅＝I(x-1,y)+I(x,y+1)-

I(x,y-1)-I(x+1,y+1)+  (13)

2I(x-1,y+1)-2I(x+1,y-1)

135°方向卷积和：

D₁₃₅＝I(x+1,y)+I(x,y+1)-

I(x-1,y)-I(x,y-1)+  (14)

2I(x+1,y+1)-2I(x-1,y-1)

梯度图像定义为：

$S(x,y)=\sqrt{(D_0^2(x,y)+D_{45}^2(x,y)+D_{90}^2(x,y)+D_{135}^2(x,y))}---\left(15\right)$

由以上四方向的梯度滤波得到的Soble梯度图像，该梯度图像使原图像中的梯度信息得到了比较全面的体现。选取自适应增益函数代替传统常数放大因子，λ_i(x,y)与I_s(x,y)存在如下关系：

${\mathrm{\&lambda;}}_i(x,y)=2^{(2*I_s(x,y))}+2---\left(16\right)$

得到关于梯度图像像素的自适应的增益函数，采用GLR模型的乘法和加法与自适应增益函数共同作用(如式(16)所示)，对不同尺度的有效信息进行融合，得到最终的多尺度反射分量图像，即最后清晰化图像。采用GRL模型的乘法，结合图3，当a>1时，在GRL模型的零值附近的像素即小细节得到很大的拉伸，但对远离GRL模型的零值即大细节进行了压缩，传统的乘法显然达不到这样的效果。采用GRL模型加法，结合图2，GRL模型这个有界的封闭加法运算避免了传统加法得到加和值越界现象的发生，减小了舍入误差，取得了较好的对比度和细节增强的效果。

$\begin{array}{c}\underset{i}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i(x,y)d_i(x,y)=({\mathrm{\&lambda;}}_i(x,y)\&CircleTimes;r_1(x,y))\&CirclePlus;({\mathrm{\&lambda;}}_i(x,y)\&CircleTimes;r_2(x,y))...\&CirclePlus;\\ ({\mathrm{\&lambda;}}_i(x,y)\&CircleTimes;r_n(x,y))=\frac{G}{G+\stackrel{\&OverBar;}{G}}\end{array}---\left(17\right)$

其中 $G=\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}{r}_i{(x,y)}^{{\mathrm{\&lambda;}}_i(x,y)}.\stackrel{\&OverBar;}{G}=\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}{(1-r_i(x,y))}^{{\mathrm{\&lambda;}}_i(x,y)},$ n为尺度参数的总个数，r_i(x,y)为对应不同尺度下的反射分量，λ_i(x,y)自适应增益函数。

Claims (3)

1.基于有界运算的多尺度Retinex图像清晰化算法，其特征是，该算法由以下步骤实现：

步骤一、采用有界GLR运算模型中的加法代替Retinex算法中的对数变换，对原图像作类对数变换；采用自适应不同尺度的引导滤波核函数，对所述作类对数变换的原图像进行高低频信息分离，得到对数域中不同尺度的照射分量；

步骤二、采用有界GLR运算模型中的减法去除步骤一中所述的照射分量，获得不同尺度的反射分量；

步骤三、采用四方向的Sobel梯度图像及有界GLR运算模型乘法和加法对不同尺度的反射分量进行融合，获得多尺度反射分量图像，即最后清晰化图像；

该算法在步骤一之前进行图像处理，针对有界GLR运算模型设计有界运算规则，具体过程为：

设定一帧图像灰度值为I(x,y)，进行归一化处理，定义如下：

II(x,y)＝(I(x,y)+1+δ)/(M+δ')

式中I(x,y)定义在[0,M)区间，M是光强饱和值，δ与δ'是微小的扰动量，使归一化后的像素值II(x,y)∈(0,1)，将归一化后像素值II(x,y)∈(0,1)进行非线性变换，记对比值p(x)取对数运算，获得非线性函数φ(x)及逆变换φ^-1(x)，用下式表示为：

$\mathrm{\&phi;}\left(x\right)=\log \left(p\left(x\right)\right)=\log \left(\frac{1-x}{x}\right)$

${\mathrm{\&phi;}}^{-1}\left(x\right)=\frac{1}{e^x+1}$

将φ(x)进行广义线性运算，再通过φ^-1(x)逆变换，最后进行反归一化处理。

2.根据权利要求1所述的基于有界运算的多尺度Retinex图像清晰化算法，其特征在于，步骤一中采用自适应不同尺度的引导滤波核函数，对所述作类对数变换的原图像进行高低频信息分离，得到对数域中不同尺度的照射分量的具体过程为：

选取高、中、低三个不同尺度因子，对原图像进行低通滤波；r为滤波半径，对r的取值具有自适应性，r的最大值r_max＝[min(height,width)/3]，r的最小值r_min＝[min(height,width)/(2ⁿ)]，其中n为选取尺度因子的个数，取r的中间值r_mid＝[(r_max+r_min)/2]，其中height和width为图像的高度和宽度，[]表示取整操作；对引导滤波后的图像利用GLR运算模型的加法进行类对数变换，获得对数域中不同尺度图像的照射分量。

3.根据权利要求1所述的基于有界运算的多尺度Retinex图像清晰化算法，其特征在于，步骤三中所述的四方向为水平方向、垂直方向、45度方向和135度方向，所述四方向Sobel梯度图像用下式表示为： $S(i,j)=\sqrt{(D_0^2(i,j)+D_{45}^0(i,j)+D_{90}^2(i,j)+D_{135}^2(i,j))}.$