CN105513015A - 一种雾天图像的清晰化处理方法 - Google Patents

Abstract

本发明公开了一种雾天图像的清晰化处理方法，首先用不同尺度的高斯核函数F_i(x，y)对原始雾天图像进行卷积得到反映环境亮度的亮度图像L_i(x，y)，然后对原始图像V(x，y)和亮度图像L_i(x，y)的对数差按权重求和得到反射图像R(x，y)，接下来对得到的反射图像进行对比度拉伸，得到拉伸后的反射图像R′(x，y)，并用改进的伽马校正对R′(x，y)进行校正，校正函数为I^a(a+I)。最后选择两个平台阈值T₁和T₂对伽马校正后的图像进行双平台直方图处理，得到最终处理后的图像。该算法完善了Retinex算法的不足，在图像动态范围和细节保真性之间取得了很好的平衡，在提高对比度同时很好的保留了图像的细节。

Description

一种雾天图像的清晰化处理方法

技术领域

本发明属于视频图像增强领域，具体涉及一种雾天图像的清晰化处理方法。

背景技术

雾是一种常见的自然天气，即便是在晴朗的夏天，由于地表水的蒸发也会形成一层薄雾。雾天天气的最大弊端就是使大气的可见度降低，人们看到的图像质量降低，对比度下降，并且对于彩色图像而言，还会出现严重的颜色偏移与失真，使得所获取的图像并不是我们想要得到的图像，或者使图像中的有用信息被图像的低对比度所“掩盖”丢失了很多有用信息。今年来研究表明，图像退化的原因在于：由于大气中微粒的散射作用，使被照射景物的反射光通量部分被大气中微粒吸收或反射，从而使到达观察者的入射光衰减。这反映在图像上，原本较低的图像灰度值被加强，较高的图像灰度值被削弱，从而使图像中像素点灰度值的分布相对过于集中，对比度相对减弱。

目前针对雾天图像的增强主要从以下两方面入手。一方面从雾天图像形成的原因出发，建立相应的大气恢复模型，从而得到降质前的图像。但是这种方法需要提前知道图像中景物的深度信息，并且需要借助于雷达装置来获取图像的深度信息。这种方法虽然有很好的去雾效果，但是却对设备的要求较高，并且处理过程较为复杂，硬件移植较为困难，因此不适用于正常的户外监控。和上述方法原理一样，有人提出用同一幅图像在不同的天气状况下的场景来估算出深度信息，虽然没有了雷达装置来计算景物深度，但是同一幅在不同天气状态的场景组却需要提前拍摄，并且提前估算出景物的深度，因此对于硬件来说算法较为复杂，并且此种算法只适应于已经知道景物深度的场合，因此算法有一定的缺陷性。

另外一种思路是不考虑雾天天气形成的原因，认为原始图像是一幅低对比度、低照度下的图像，因此可以从图像增强的角度去获得清晰化的雾天图像。比较好的有直方图均衡化处理，并在此基础上进行了一些改进的算法，如局部直方图均衡化，非重叠子块的直方图均衡化处理等。这些算法简单，效果明显。全局直方图均衡由于没有考虑图像的局部信息，造成图像的部分高频信息丢失。局部直方图均衡的通过移动模板对图像的每一点都做了均衡化处理，但是计算量非常大，不利于硬件移植。非重叠子块的直方图均衡化处理完之后导致图像存在严重的块效应。针对这种算法的缺陷，又有学者提出了部分子块重叠直方图均衡算法(POSHE算法)，这种算法可以在一定程度上降低由于局部直方图均衡带了的块效应。目前较为流行的视网膜大脑皮层算法(Retinex算法)是埃德温·赫伯特·兰德(EdwinLand)提出的一个人类视觉系统如何调节并且感知物体颜色的模型。Land发现在视觉的信息传输过程中人类对接收到的信息做了部分处理，处理的结果只保留了反映物体本质的信息，如反射系数，而去除了光源和照射不均匀等带来的一些不确定因素。Retinex算法的基本原理是认为一幅图像到达人眼的部分是由两部分决定的。一部分是入射光，入射光影响着周围环境的亮度，另一部分是反射光，这部分是物体本身决定的，不同物体有不同反射系数。因此如果能求得反映物体的反射图像，而此图像不受入射光的影响，即达到了雾天图像清晰化的目的。在此基础了有了单尺度和多尺度的Retinex算法，但算法会淹没雾天图像中的有用信息。

发明内容

本发明的目的在于提供一种雾天图像的清晰化处理方法，该方法对图像的除雾效果有较大的改善，并且去雾后的图像的对比度和亮度均比之前的去雾算法要好。

实现本发明目的的技术解决方案为：一种雾天图像的清晰化处理方法，其特征在于，包括以下步骤：

步骤1)用不同尺度的高斯核函数和原始雾天图像进行平滑卷积，分别求出反映环境亮度不同尺度的亮度图像L_i(x，y)，L_i(x，y)＝V(x，y)*F_i(x，y)，V(x,y)为原始雾天图像，L_i(x，y)是不同尺度的高斯核函数，其数学形式为c_i为高斯环绕尺度，λ为归一化因子，(x，y)表示图像中像素点坐标；

步骤2)对原始的雾天图像V(x，y)取对数，并用此结果减去不同尺度下亮度图像L_i(x，y)的对数，得到不同尺度下的反射图像R_i(x，y)，并按权重进行求和，得到叠加的反射图像 $R(x,y),R(x,y)={\mathrm{\Σ}}_{i=1}^N{W}_i\{\log V(x,y)-\log [F_i(x,y)*V(x,y)\left]\right\},$ 其中N为尺度个数；

步骤3)对得到的叠加反射图像R(x，y)进行对比度拉伸，得到拉伸后的反射图像R′(x，y)，对比度拉伸调整如下：如果I_in＜I_low，则I_out＝0；如果I_in＞I_hi，则I_out＝d_max；如果I_low＜I_in＜I_hi，则I_out＝(I_in-I_low)/(I_hi-I_low)×d_max，其中I_in为输入值的像素，即R(x，y)的像素值，I_out为输出值的像素，d_max为输出设备的动态范围，I_low为R(x，y)像素的低阈值，I_low＝μ-3δ，I_hi为R(x，y)像素的高阈值，I_hi＝μ+3δ，μ是R(x，y)的均值，δ是R(x，y)灰度值的方差；

步骤4)用改进的伽马校正对拉伸后的反射图像R′(x，y)进行进一步校正，方法如下：先对拉伸后的反射图像R′(x，y)进行归一化，再对归一化后的反射图像进行校正，校正函数为I^a(a+I)，I是归一化后的像素值，a(a+I)为伽马校正系数，其中a为一个常数，取值大于0小于1；

步骤5)选择两个平台阈值T₁和T₂，对步骤4)进行伽马校正后的图像进行双平台直方图处理，得到去雾后的图像，如果h(r_k)≤T₁，则H(r_k)＝T₁；如果T₁＜h(r_k)＜T₂，则H(r_k)＝h(r_k)，如果h(r_k)≥T₂，则H(r_k)＝T₂，(k＝0,1,…,L-1)；其中，H(r_k)为图像的双平台直方图的值；h(r_k)为图像的统计直方图值；L为图像的灰度级数。

上述步骤1)中，选取不同尺度的高斯核函数，对图像处理的性能有很大程度影响，用原始的雾天图像V(x,y)对高斯函数做卷积，得到不同尺度下的亮度图像L_i(x，y)；优选三个尺度的高斯核函数对图像进行处理，20≤c₁＜40，40≤c₂≤100，100＜c₃≤130。

上述高斯环绕尺度c_i优选，c₁取值为20，，c₂取值为80，c₃取值为120。

上述步骤2)中， $R(x,y)={\mathrm{\Σ}}_{i=1}^N{W}_i\{\log I(x,y)-\log [F_i(x,y)*I(x,y)\left]\right\},$ 我们选择三个尺度来得到各自对应的反射图像，Wi的取值也各不相同，W₁，W₂，W₃分别代表三个尺度从小到大各自对应的权重因子，我们取W₁为1/4，W₂为1/2，W3为1/4。

上述步骤5)中，T₁选择为图像像素总数的5％～10％，T₂选取图像像素总数的20％～30％。

本发明与现有技术相比，其显著优点：(1)线性对比度拉伸在图像对比度方面有了很大的提升；(2)传统的伽马校正能够使图像像素得到增强，尤其暗区域得到了增强，但是却将亮区域进行了过渡增强，改进的伽马校正在低像素区域用一个小的a(a+I)值来增强暗区域的像素，在高像素区域用一个大的a(a+I)值来限制已经很亮的区域；(3)平台直方图均衡化在增加图像对比度的同时保留了图像中像素点数量很少的灰度级，而有些时候这些像素点往往是图像中的重要细节，因此平台直方图均衡化在增加图像对比度时候保留了图像细节。

附图说明

图1是本发明一种雾天图像的清晰化处理方法的算法流程图。

图2是真实的雾天场景和各个算法处理后的图像，其中图(a)为原始雾天图像；图(b)为原始Retinex算法处理后的图像；图(c)是本算法处理后的图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1，本发明是一种雾天图像清晰化处理的方法，原理为：首先对输入的图像进行分离，分离的原理为EdwinLand提出的人类视觉如何调节并感知物体的模型，EdwinLand认为人眼对接收到的图像进行了处理，只保留了反映物体本质的信息。Retinex算法就是根据这个理论提出来的，Retinex算法认为一副图像到达人眼的部分是由两部分决定的，一部分是入射光，影响着周围环境的亮度。另一部分为反射光，这部分是物体本身决定的，即反映物体本质的图像。在公式上可表达为：

V(x，y)＝R（x，y)·L(x，y)

V(x，y)为人眼观察到的图像，L(x，y)是反映周围环境亮度的图像，我们算法的第一步就是得到这个图像。R(x，y)是反射图像，反映了物体的本质信息，不受环境也就是雾天环境的影响。结合图1，我们可以看到，我们首先对原始的雾天图像V(x，y)进行了高斯平滑处理，所用到的高斯函数为C_i为高斯环绕尺度，(x，y)表示图像中像素点的坐标。这里我们选了三个尺度的高斯函数，分别得到了三个尺度下的亮度图像。不同的尺度平滑的效果不同，一般来说，尺度选的越小，平滑效果越好，但是图像会丢失细节；尺度选的越大，平滑效果不太理想，但是图像具有很好的保真性。我们在提取图像亮度分量的时候，选择了三个不同尺度的高斯函数，即20≤c₁＜40，40≤c₂≤100，100＜c₃≤130，并且得到了三个不同尺度下的亮度图像L₁(x，y)、L₂(x，y)、L₃(x，y)。L₁(x，y)是用尺度最小的高斯函数和原图像卷积得到的，该部分的图像平滑效果最好，最能体现环境亮度，但是却丢失了细节；L₃(x，y)是用尺度最大的高斯函数和原图像卷积得到的，这部分图像的保真性较好，但平滑效果不如L₁(x，y)；L₂(x，y)用了一个中等尺度的高斯函数，得到的图像介于L₁(x，y)和L₃(x，y)之间。此处，c₁取值为20，c₂取值为80，c₃取值为120。

接下来我们要根据亮度图像来计算得到反射图像，亮度图像和反射图像之间的关系如下式表示：

V(x，y)＝R(x，y)·L(x，y)

因此，反射图像R(x，y)＝V(x，y)/L(x，y)。这里我们未直接采用除法运算，而是对原始图像V(x，y)和亮度图像L(x，y)分别取对数，上述表达式便可变为logR(x，y)＝logV(x，y)-logL(x，y)。由于上一步中得到了三个亮度图像L₁(x，y)、L₂(x，y)、L₃(x，y)。同样的，在这一步中也得到了三个反射图像，分别为R₁(x，y)、R₂(x，y)、R₃(x，y)。接下来对这三幅图像按权重进行求和：

$R(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{W}_i(\mathrm{kogV}(x,y)-\log [F_i(x,y)*V(x,y)\left]\right\}$

W_i为权重因子。我们取W₁为1/4，W₂为1/2，W₃为1/4。这样得到的反射图像在图像保真和细节保留之间取得了很好的平衡。

尽管我们已经得到了反射图像，但是这样得到的图像在对比度和细节方便还不够好，可以通过图2(b)看到，虽然从图像中可以看出在很大程度上达到了去雾的效果，但是图像整体比较灰暗，这样导致图像的细节部分被淹没，丢失了图像细节。

因此有必要对得到的反射图像进一步的处理。首先采用的方法是线性对比度拉伸，如果I_in＜I_low，I_out＝0；如果I_in＞I_hi，I_out＝d_max；其他情况下I_out＝(I_in-I_low)/(I_hi-I_low)×d_max。即：

其中I_in为输入值的像素，即R(x，y)的像素值，I_out为输出值的像素，d_max为输出设备的动态范围，在8位的系统中d_max的取值为255。I_low为R(x，y)像素的低阈值，I_hi为R(x，y)像素的高阈值。我们发现在雾天条件下，图像的灰度直方图常常呈正态分布，因此可以采用图像的均值和方差来确定I_hi和I_low的取值：

$\left\{\begin{array}{c}{I}_{\mathrm{hi}}=\mathrm{\μ}+3\mathrm{\δ}\\ I_{\mathrm{low}}=\mathrm{\μ}-3\mathrm{\δ}\end{array}\right.$

μ为图像灰度值的均值，δ是图像灰度值的方差。

接下来就是对图像进行灰度变换—伽马校正。传统的伽马校正变换形式为I^γ，能够将一幅灰度较低的图像进行变换，得到一幅灰度较高的图像。但是这种校正方法也有自己的缺点，那就是对于图像中灰度较高的像素进行过校正，使得图像会出现过渡增强的地方。这里我们采用了一个改进的伽马校正，在低像素区域用一个较小的γ值来增强暗区域的像素，在高像素区域用一个较大γ值来限制已经很亮的区域。这样既能增加图像对比度，又不会出现过增强。改进的伽马校正表达式为：I^a(a+I)。这里已经是做归一化的图像进行的处理，I是归一化后的像素值，a为一个常数，这里取值为0.4。得到高动态范围反射图像。

经过上述步骤以后得到的图像并不是最为理想的，观察图像的直方图发现图像的灰度分布并不均匀，灰度较为集中。因此我们对图像进行了双平台直方图均衡化处理。

我们选择了两个不同的阈值T₁和T₂，分别作为上限平台和下限平台对图像的直方图进行修改。如果某一灰度级的像素数量小于T₁，则将其置为T₁，对图像中占有较少像素的目标细节进行适度的放大。如果某一灰度级像素数大于T₂时，将其变为T₂。即：

$H\left(r_k\right)=\left\{\begin{array}{c}{T}_1,(h\left(r_k\right)\&le;T_1)\\ h\left(r_k\right)(T_1<\left(r_k\right)<T_2)\\ T_2,(h\left(r_k\right)\&GreaterEqual;T_2)\end{array}\right.$

(k＝0,1,…,L-1)

式中H(r_k)为图像的双平台直方图的值；h(r_k)为图像的统计直方图值；L为图像的灰度级数。

通过累计直方图对图像的灰度进行重新分配，得到均衡化以后的灰度值。

对于上限平台T₂的选取，一般情况下取像素数的20％～30％。下限平台T₁的选取一般取值5％～10％，能够得到较为理想的效果。

实施例1

采用一幅雾天天气下的灰度图像在PC机上进行处理，所采用的处理器为IntelCoreI3。图2(a)是采集的原始灰度图像；图2(b)为经过传统的Retinex算法得到的图像，可以看到在一定程度上达到了去雾的效果，但是图像整体暗淡，对比度不高，并且部分细节没有很好的体现出来；图2(c)是本算法处理后的图像，首先利用用不同尺度的高斯核函数和原始雾天图像进行平滑卷积，分别求出反映环境亮度不同尺度的亮度图像；然后对原始的雾天图像取对数，并用此结果减去不同尺度下亮度图像的对数，得到不同尺度下的反射图像，并按权重进行求和，得到叠加的反射图像；最后对得到的叠加反射图像进行对比度拉伸以及伽马校正、直方图处理后获得去雾效果较好的图像。图2(c)可以看到图像整体亮度较为均匀，对比度较高，原本淹没在雾里面的细节也体现了出来，达到了很好的去雾效果。

Claims (5)

1.一种雾天图像的清晰化处理方法，其特征在于，包括以下步骤：

步骤1)用不同尺度的高斯核函数和原始雾天图像进行平滑卷积，分别求出反映环境亮度不同尺度的亮度图像L_i(x，y)，L_i(x，y)＝V(x，y)*F_i(x，y)，V(x,y)为原始雾天图像，F_i(x，y)是不同尺度的高斯核函数，其数学形式为c_i为高斯环绕尺度，λ为归一化因子，(x，y)表示图像中像素点坐标；

步骤2)对原始的雾天图像V(x，y)取对数，并用此结果减去不同尺度下亮度图像L_i(x，y)的对数，得到不同尺度下的反射图像R_i(x，y)，并按权重进行求和，得到叠加的反射图像其中N为尺度个数；

步骤3)对得到的叠加反射图像R(x，y)进行对比度拉伸，得到拉伸后的反射图像R′(x，y)，对比度拉伸调整如下：如果I_in＜I_low，则I_out＝0；如果I_in＞I_hi，则I_out＝d_max；如果I_low＜I_in＜I_hi，则I_out＝(I_in-I_low)/(I_hi-I_low)×d_max，其中I_in为输入值的像素，即R(x，y)的像素值，I_out为输出值的像素，d_max为输出设备的动态范围，I_low为R(x，y)像素的低阈值，I_low＝μ-3δ，I_hi为R(x，y)像素的高阈值，I_hi＝μ+3δ，μ是R(x，y)的均值，δ是R(x，y)灰度值的方差；

步骤4)用改进的伽马校正对拉伸后的反射图像R′(x，y)进行进一步校正，方法如下：先对拉伸后的反射图像R′(x，y)进行归一化，再对归一化后的反射图像进行校正，校正函数为I^a(a+I)，I是归一化后的像素值，a(a+I)为伽马校正系数，其中a为一个常数，取值大于0小于1；

步骤5)选择两个平台阈值T₁和T₂，对步骤4)进行伽马校正后的图像进行双平台直方图处理，得到去雾后的图像。如果h(r_k)≤T₁，则H(r_k)＝T₁；如果T₁＜h(r_k)＜T₂，则H(r_k)＝h(r_k)，如果h(r_k)≥T₂，则H(r_k)＝T₂，(k＝0,1,…,L-1)；其中，H(r_k)为图像的双平台直方图的值；h(r_k)为图像的统计直方图值；L为图像的灰度级数。

2.根据权利要求1所述的雾天图像的清晰化处理方法，其特征在于：上述步骤1)中，选取不同尺度的高斯核函数，对图像处理的性能有很大程度影响，用原始的雾天图像V(x,y)对高斯函数做卷积，得到不同尺度下的亮度图像L_i(x，y)；优选三个尺度的高斯核函数对图像进行处理，20≤c₁＜40，40≤c₂≤100，100＜c₃≤130。

3.根据权利要求2所述的雾天图像的清晰化处理方法，其特征在于：上述高斯环绕尺度c_i优选，c₁取值为20，c₂取值为80，c₃取值为120。

4.根据权利要求1所述的雾天图像的清晰化处理方法，其特征在于：上述步骤2)中，我们选择三个尺度来得到各自对应的反射图像，W_i的取值也各不相同，W₁，W₂，W3分别代表三个尺度从小到大各自对应的权重因子，我们取W₁为1/4，W₂为1/2，W₃为1/4。

5.根据权利要求1所述的雾天图像的清晰化处理方法，其特征在于：上述步骤5)中，T₁选择为图像像素总数的5％～10％，T₂选取图像像素总数的20％～30％。